配准和融合概览
配准是融合的先决条件
意义
解剖图像：提供解剖形态信息，分辨率高
功能图像：提供功能代谢信息，分辨率低
- 二者融合：在一幅图像中同肘表达来自人体多方面的信息，使人体内部结构和功能等状况能通过影像反映出来，直观提供人体解剖生理病理信息。
- 配准 $ \to $ 融合
应用
外科手术
术前病灶精确定位
放疗计划
CT图像精确计算放射剂量、MR图像描述肿瘤结构，PET对代谢、免疫及生理方面进行识别，配准融合后图像用于改进放疗计划、立体定向活检、手术
配准
- 医学图像配淮是指对于一幅医学图像寻求一种(或一系列)空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置(位置一致,角度一致、大小一致)。
- 目的：将多种成像模式或同一种模式得到的多幅图像综合分析，更好的了解组织情况
- 解决的问题：几幅图像的严格对齐
融合
- 几幅图像信息综合的结黑称作图像的融合( image fusion)
- 利用图像融合技术，将多种图像结合起来,利用各自的信息优势，在一幅图像上同肘表达来自人体的多方面信息，使人体内部的结构、功能等多方面的状况通过影像反映出来，从而更加直观地提供人体解剖、生理及病理等信息。
- 图像配准技术是图像融合的先决条件
配准是指图像间寻得一个合适的变换，这表示两幅图像上每个体素之间都应该有逐一对应的位置关系。这种变换通常分为刚体和非刚体变换。
刚体变换
刚体变换可以由变换矩阵来表示，常见的就是平移和旋转。
非刚体变换
非刚体变换可以由多项式函数来拟合如样条函数，或者是由形变位移场记录每个体素的移动向量。传统的多模态配准方法往往需要多次迭代以产生最优化的参数，如基于特征点的配准算法、基于最大互信息的配准算法以及基于强度的配准算法等。然而，使用基于特征点的方法还需要进行额外的特征提取与特征匹配步骤。基于最大互相信息与基于强度等迭代优化指标的配准算法虽然准确率高但是不能一劳永逸，每次当新的配准对出现的时候都要进行新的迭代优化以完成配准，这无疑是不惜以高昂的时间成本为代价以换取好的配准结果。
针对图像间的非线性变换，目前流行的方法是利用形变场进行配准。
医学图像研究背景
MRI
MRI 图像有着更高的空间分辨率以及更好的软组织清晰度，医生能够从中获得关于人体的物理特性数据，但是缺乏运动信息，如身体新陈代谢。
使用 MRI 来引导放射治疗(Radiation Therapy, RT)计划的趋势已逐年攀升。例如，在 2006 年至 2017 年间，美国在 RT 治疗计划中的 MRI 利用率从 6％增加到 24％[1]。
MRI 与 CT 比，更适合于人体的非骨性部位和软组织成像，此优势可以解释以上的快速增长情况。并且，MRI 可以更准确地描绘患者的目标体积，**可以描绘周围的危险器官(Organs At Risk, OAR)**，还可以通过功能成像提供有关肿瘤活动的信息，例如细胞密度和肿瘤生物学。正是由于 MRI 的这些优势，越来越多的临床机构将使用 MRI 包括在 RT 计划流程中，以便最大程度地受益于 MRI 可以提供的附加信息。
CT与MRI融合
CT图像优点：CT 图像具有短扫描时间和高成像分辨率特征，然而，它在组织表征方面是有限的。
CT与MRI融合
RT所需的电子密度信息只能通过CT成像提供,其扫描获得的 Hounsfield unit(HU测量值对于计算癌症患者的治疗剂量大有裨益,能够尽可能多地确保其在保留健康组织的同时将最大剂量输送到目标区域。
MRI可提供出色的软组织成像
到目前为止,与CT成像相比,尽管MRI可提供出色的软组织成像,但是用于RT的MRI的固有局限性在于它无法为治疗计划系统中的剂量计算提供所需的电子密度信息。电子密度信息对于剂量计算非常重要。传统地,RT所需的电子密度信息只能通过CT成像提供,其扫描获得的 Hounsfield unit(HU测量值对于计算癌症患者的治疗剂量大有裨益,能够尽可能多地确保其在保留健康组织的同时将最大剂量输送到目标区域。因此几乎100%的RT计划都要使用CT,这致使许多机构不得不调整他们的RT治疗计划的工作流程,在该流程中通常以两种成像方式对患者进行扫描,即同时获取MRI与CT然而在RT中加入CT的劣势也十分明显:
1)使得工作流程变得更加复杂:
2)仍然需要患者额外地暴露在放射环境中;
3)由于对对准轮廓的需求更多,所以对于配准许多疾病部位的不确定性有所增加。
PET和MRI融合
PET和MRI融合
PET是具有广泛临床应用的非侵入性功能成像方式,对示踪剂摄取的准确定量具有重大的临床意义
结合解剖学成像模式以实现更好的软组织可视化,减少常规给药活动并缩短扫描时间以及
提高对毫米大小结构中放射性药物积聚的检测能力。PET/MRI的AC过程面临着扫描运动,图像伪影及体素强度向μ-map值的错误转换的挑战。
同时,目前PET是具有广泛临床应用的非侵入性功能成像方式,对示踪剂摄取的准
确定量具有重大的临床意义。将PET用在药物开发领域中的目标占有率,治疗反应监测
和治疗结果预测这种苛刻的应用上时,由于PET在物理上的低计数统计和非理想性的
分体积效应,致使计算PET吸收定量的准确性收到了一定程度上的限制。而随着MRI
的引入, PET/MRI组合系统在研究和临床应用中越来越受欢迎,因为PET/MRI可以结
合解剖学成像模式以实现更好的软组织可视化,减少常规给药活动并缩短扫描时间以及
提高对毫米大小结构中放射性药物积聚的检测能力。然而,PET的重建需要用到衰减系
数图(-map)来完成对y-光子的衰减校正( Attenuation correction,AC),而-map是用来
度量电子密度的。但由于PET与MRI在成像测量的物理性质上没有直接的联系,所
PET/MRI的AC过程面临着扫描运动,图像伪影及体素强度向μ-map值的错误转换的挑战
最优的途径—-sCT
图像配准
传统的图像配准方法通常的做法是，将不同的图像按照对应的位置使用迭代的方法优化每一对体素。尽管这样的方法能达到高的配准准确率，但缺点也十分明显，首先，迭代优化的过程使得整个配准过程太慢，通常配准需要花费好几个小时，致使这种低效率的配准方式无法大规模地应用在临床上。其次，配准得尽可能要求是独立的，而非学习式的过程。学习式的过程意味着每一场配准都需要消耗同样长的时间。而深度网络的出现改变了传统的配准模式，变换参数可以在网络中被学习，传统数小时的配准过程被压缩到了几秒钟[8]。在有监督的配准方法中，送入配准网络的训练数据都有真实标签，即经过空间变换后的配准图像。通常，有监督学习采用的做法是用传统的基于迭代的配准方法预先获得训练数据的真实标签。然而，有监督学习存在的问题是标签本身并不是真实的标签，而是一个准确率较高的变换结果，因此配准的效果会因为标签的不准确性而大打折扣。由此引出了本文探究的另一种配准方法，即无监督的配准方法。
无监督的方法是基于有监督方法存在的缺陷进行改进的版本[9-11]。无监督方法利用不同图像之间的差异性构建形变场，而形变场就是一个变换矢量场。
