机器人手术缝合应变的可视化测量
概要微创外科手术具有切口较小，住院时间缩短以及术后快速恢复的优点。手术机器人在术中改善了通路和可视化，并扩大了微创手术的适应症。 DaVinci手术机器人的局限性是缺乏对手术医生的感觉反馈。经验丰富的机器人外科医生使用组织和缝合线变形的视觉解释作为触觉反馈的替代。在机器人手术期间遇到的困难是在打结或接合吻合缝合线时保持足够的缝线张力。实时显示缝线应变有可能减少学习曲线并提高机器人外科手术的性能和安全性。传统的应变测量方法涉及在机器人仪器上安装复杂的传感器。本文提出了一种基于视频处理的无创方法来确定手术缝合线的应变。该方法通过处理来自现有手术相机的视频来精确地计算缝合线中的应变，使得实施不复杂。视频分析方法是在伺服液压测试系统上使用缝线应变标准视频开发和验证的。基于视频的缝线应变算法显示能够测量0.2％的缝合应变，具有亚像素分辨率并且在各种条件下证明可靠性。
1.简介
机器人技术在外科手术中的应用经历了快速增长，因为它具有切口小，恢复快，成本低等优点。作为一个例子，美国前列腺癌根治性前列腺切除术的50％以上现在正在机器人辅助下进行。在机器人手术中，机器人在远程操作模式下操作，外科医生用手控制器控制机器人操纵器臂。虽然视觉反馈是感觉反馈的主要替代，但是对于更困难的外科手术来说，对外科医生的手的直接力反馈被认为是必要的。
近期没有力反馈的达芬奇手术机器人的成功证明，高分辨率双眼视觉的结合允许有经验的外科医生使用视觉线索作为感觉反馈的替代。外科医生可以通过目视观察被操纵的膜的偏转来有效地推断出力信息。机器人手术目前仅限于外科医生可以在视觉上补偿感觉反馈的操作。用于机器人手术程序的感觉反馈系统的开发将减少学习曲线并允许使用最小切口机器人技术执行更困难的手术程序。
机器人手术期间遇到的挑战之一是维持缝线张力。打结过程中过度的张力可能导致缝合线或组织破裂，而张力不足可能导致结节失效。另外，即使对于高技能的外科医生来说，在运行的吻合缝合期间保持足够的缝线张力也是困难的。已经证明，通过视觉和听觉提示的触觉反馈确实减少了使用机器人系统进行缝合捆绑的时间。一些研究人员（例如，Akinbiyi等人，Shimachi等人，Reiley等人）安装复杂的传感器，以便在机器人辅助手术任务期间直接测量缝线上的力。然而，这些传感器通常难以应用于机器人手术系统，增加了相当大的成本，并且存在脱离的风险。为此，我们提出了一种新颖的非侵入性方法，可直接从机器人外科手术过程中常规可用的视频图像中计算缝线应变，从而避免安装复杂的传感器。
实时测量和显示缝线应变有可能改善机器人外科手术的性能和安全性。传统的应变测量方法涉及复杂的传感器安装，本文提出了一种基于视频图像处理的无创测量方法。在以下部分中，描述了方法和算法，并且针对各种条件的准确性和适应性评估了该方法的性能。
2.方法
2.1.视频处理算法
为了测量缝合应变，我们使用缝合线，该缝合线以规则的间隔预先标记有一组暗标记。图1中所示的是在手术机器人的两个夹持器之间保持的标记缝合线。通过视频检测这些标记在张力时的位移来测量缝合应变。虽然这个概念看起来很简单，但挑战在于使用逐帧视频处理实时准确地确定缝合线应变，以自动识别和跟踪缝合过程中在不同平面中移动的缝合线上的标记。
图1
由手术机器人的两个夹子固定的标记缝合线。
图像处理算法由图2所示的步骤组成：图像增强（颜色通道选择），边缘检测，线检测（霍夫变换），线性分析和标记检测，标记跟踪（二次回归）和应变计算。 本节介绍了每个步骤的详细说明。
图2
图像处理算法流程图。
2.1.1.图像增强（颜色通道选择）
为了通过视觉图像处理进行准确可靠的应变测量，首先要使视频图像帧具有良好的标记对比度。 该算法可以处理从彩色或黑白摄像机获取的视频帧。 对于彩色（RGB）视频图像，该算法自动计算并确定在背景和缝合之间提供最佳对比度的颜色通道。 然后，算法以这样的方式调整通道，使得最暗的背景针对光缝合图像。 例如，在如图3所示的暗缝合的情况下，首先反转每个通道的灰度图像，使得缝合图像看起来很亮。 然后选择红色通道作为背景，因为蓝色在反转背景中显示为浅色。
图3
深色缝合线的颜色通道选择（红色通道为倒置图像帧中的缝合线图像提供最佳对比度）。
2.1.2.边缘检测
在选择颜色通道以获得最佳对比度以使缝线可视化之后，将Sobel边缘算子应用于灰度图像，从而产生具有增强的缝合边缘的二值图像，以便使用霍夫变换进行处理（参见第2.1.3节）。
2.1.3.线检测（霍夫变换）
通过线检测算法识别缝合线图像。可以采用两种广为人知的算法 -Radon变换和Hough变换。 Radon变换可以直接应用于灰度图像，从而提供灵活性。然而，由于它是计算密集型过程，因此适用于离线处理或当缝合线保持相对静止时。在后一种情况下，可以在每第N帧执行线路检测。缝合线快速移动时，必须处理每一帧。在这种情况下，使用计算上有效的霍夫变换，其仅在二进制图像上操作。为了获得二进制图像，将Sobel边缘检测算法应用于灰度图像，该灰度图像产生在视频帧中具有增强边缘的二进制（B / W）图像，包括缝合线。
图4（a）-4（c）示出了自动缝合线检测过程的各个步骤。图4（a）示出了作为Sobel边缘检测算法的结果而获得的边缘图像。然后将霍夫变换应用于边缘图像以识别缝合线，其由霍夫变换上的最大强度点表示。根据Hough变换将图像点（i，j）映射到参数空间（ρ，θ）中的点
ρ=icosθ+jsinθ，（1）
其中ρ和θ表示距离图像空间原点的线的偏移距离和倾斜度。图4（b）显示了霍夫变换的结果，其中图像帧中的直线缝合线被映射到由圆圈指示的点。图4（c）显示了原始图像中显示的识别的缝合线。
图4
缝合线和标记检测过程。 （a）由Sobel边缘检测算子产生的二值图像。 （b）对二进制图像进行Hough变换以进行线检测。 （c）检测到的缝线显示在视频图像上并选择标记（红色圆圈）。 （d）显示所选标记的线轮廓（黑色箭头）。 （e）所选标记（红线）的图案在线条轮廓（绿线）中匹配。
2.1.4.线性分析和标记检测
通过沿着缝合线的强度分布和与表示标记的已知“模板”强度分布的图案匹配来检测标记位置。然而，因为先前检测到的边缘线与缝合线中心线不一致，所以这种轮廓分析将不会产生正确的强度分布。因此，在沿线的每个增量图像点处，我们在检测到的线的两侧取±N条线并将它们平均以包括缝合线的中心。这种多线剖析过程如图4（d）所示，其中强度在缝合线宽度上平均（7个像素）。该方案还有助于“边缘”线不与缝合线平行或缝合线变得松弛的情况。
沿着平均强度分布，通过与已知标记模板的模式匹配来检测标记的位置。该软件提供了手动选择模板标记点的选项，如图4（c）中的红色圆圈所示，或者可以自动选取。在此示例中，手动选择标记。一旦选择了标记点，其强度分布在整个跟踪过程中用作模板。我们已经观察到，当标记被最大距离分开时，应变值更准确。通过计算已知模板的交叉相关性和移动窗口的强度分布来完成模式匹配，如图4（e）所示。模板（p）和缝合线强度（q）之间的相关系数（ρpq）定义为
ρpq=Cpqσpσq，
（2）
其中C pq是协方差，σp2，σq2分别是随机变量p和q的方差。结果，沿着缝合线轮廓的标记位置以一个像素的分辨率估计。
2.1.5. 标记跟踪（二次回归）
一旦通过模式匹配检测到标记，如上一节所述，程序选择一组标记并以高精度跟踪它们。 要跟踪的标记可手动或自动选择。 选择标记后，算法会逐帧跟踪标记，并通过二次回归估计标记位置的中心：
y = ax2 + bx + c，（3）
其中y是像素强度，x是沿着线的标记中心的x坐标，并且常数a，b和c是拟合二次曲线的系数，并且通过二次回归确定。 图5示出了适合五个离散强度点的曲线。 标记位置被确定为曲线的最小点的x值。
图5
标记跟踪：二次曲线拟合。
基于多个单独像素从二次曲线拟合确定标记位置允许以子像素分辨率检测标记中心位置。测量分辨率预计取决于标记宽度和标记边缘的对比度：对比度越大，我们在标记和无标记之间的灰度值差异越大，允许以更精细的增量测量位置。基于互相关的标记检测的先前步骤给出单个图像像素空间分辨率。标记跟踪的目的是获得更高的分辨率。通过在较小的窗口上采用二次回归（曲线拟合），它将给出标记位置的无限分辨率。
2.1.6.应变计算
一旦标记物的位置已知，则通过计算缝合线应变
S =ΔLL，
（4）
其中L是拉伸前标记之间的参考缝线长度，ΔL是标记之间长度的变化。仅可以计算缝线应变的可见分量。当缝合线垂直于摄像机定位时，总应变和可见应变是相等的。当缝合线位置倾斜于摄像机时，只能检测垂直于摄像机的应变分量。为了本研究的目的，缝合线垂直于摄像机定位。
应变计算以两种方式实现：单点跟踪和两点跟踪。 如图6（a）所示，前一种方法假设一端的固定位置（绝对L），并且应变仅通过标记位置的变化ΔL来测量。 采用这种方法来确定可达到的最高测量精度。 在两点跟踪中，如图6（b）所示，假设两个末端标记在拉伸期间（相对于L）移动，并且根据它们之间的相对距离计算应变。 该方法的实现需要开发可以跟踪移动缝合的算法。 由于跟踪两个标记的附加误差，我们预计两点跟踪方法与单点跟踪相比会导致更大的测量误差。
图6
应变方法。
结合视频处理方法的各个部分，构建了应变测量软件。 图7显示了视频处理软件的快照，该软件在顶部窗口中显示视频流，在最底部的图中显示应变测量。 中间窗口显示的是强度曲线，有助于监控标记检测过程。 当缝合线没有受到应变时，该算法将产生不一致的结果。 我们实施了多线分析，以便跟踪松弛的缝合线，尽管在这些条件下不可能进行应变测量。
图7
应变测量显示的视频处理快照。
2.2.应变测量测试
为了评估视频算法的性能，设计并执行了一系列校准缝线加载测试。
2.2.1. 静脉缝合的循环加载
为了评估可达到的最高应变分辨率，使用Instron 8500+伺服液压测试系统进行一系列静态负载测试，如图8所示.2.0 Dexon II缝合材料用于测试。 如图8（a）所示，缝合线用1厘米间隔的锋利的自动铅笔标记，并系在500牛顿的测力传感器和系统致动器之间。 将缝合线预加载至2.5牛顿，并测量缝合线的工作长度。 然后对致动器进行编程以进行位移，以提供0.1％，0.2％，0.3％，0.4％和0.45％的应变。
图8
加载测试实验设置
在拉伸时对缝合线施加十个梯形形状的周期，其具有0.2％应变/秒的斜坡应变率和在峰值和谷处的两秒钟暂停（图9（a））。 使用线性位置传感器（Instron LVDT no.2601-062，±0.013mm）来控制该部分测试。 数码摄像机（Sony DCR-SR45，分辨率：72×480像素）用于记录视频图像。 缝合线运动限于垂直于摄像机轴线的固定距离的平面。
图9
视频处理估计应变与材料测试系统记录的实际值相比较。 （a）梯形参考波形。 （b）应变测量结果。
视频处理估计应变与材料测试系统记录的实际值相比较。图像处理算法在记录的视频流上离线运行，并且基于一点跟踪方法计算总应变幅度。然后将计算的应变振幅与Instron测试系统记录的实际应变振幅进行比较。视频处理算法无法检测到缝合线中的应变低于0.2％。视频应变检测算法产生的波形的幅度和形状与材料测试系统产生的位移相匹配，因为应变增加超过0.2％。图9（b）显示了用视频系统计算的位移波形与测试系统施加到缝合线的实际位移的改进拟合。视频算法的准确度被估计为与测试系统施加的应变大小相比的计算应变。据报道，大多数常用的手术缝合线在20％以上的应变下失效（即> 0.2应变，如图10所示）。相比之下，算法灵敏度能够在远低于缝合线失效应变20％（0.2应变）的应变值下检测具有高测量分辨率的缝线应变。
图10
大多数常见手术缝合线的失败应变：我们的测量系统检测到缝合线中至少0.2％的应变，远低于失效应变（13％）。
2.2.2.更清晰的标记的影响
我们期望标记的形状和对比度影响这种基于视觉的应变检测算法的性能。具体地，标记跟踪算法基于强度变化将曲线拟合应用于标记边缘。因此，期望具有更清晰（更高对比度）边缘的标记将允许更好的测量分辨率。为了研究这种效果，如前一节中那样测试具有不同对比度标记的样本。将每个标记缝合线的视频算法的应变测量值与其在Instron测试系统上记录的相应测量值进行比较。图11显示了0.2％应变的加载循环的应变测量结果。在该图中，将具有更清晰标记的应变测量（顶部图）与先前在不太清晰的标记上测量（下图）进行比较。与先前的结果（std = 0.06和RMSE = 0.06）相比，尖锐标记导致更准确的测量（标准偏差（std）= 0.04;均方根（RMSE）= 0.04）。
图11
0.2％应变加载循环下不同对比度标记的应变测量比较。
2.2.3.两点标记跟踪
先前的静态加载试验使用单个标记计算应变，并假设缝合线的另一端是固定的;因此，视频图像是用一点标记跟踪处理的。虽然其目的是确定可达到的最大测量分辨率，但在临床情况下，两个末端标记可能在帧与帧之间显著移动。在这方面，我们实施了一种改进的算法，该算法选择一组适当的标记，跟踪它们，并在动态条件下计算应变。如上所述，将拉伸测试载荷应用于标记的缝合线，使用单点和双点跟踪进行后处理，允许评估标记物跟踪方法的精确度。图12显示两点跟踪（RMSE = 0.11）的应变测量精度低于单点跟踪（RMSE = 0.06）的精度。用于单点和双点跟踪的最小可检测菌株分别为0.2％和0.5％应变。
图12
测量结果与一点和两点跟踪的比较。
3.结论
我们已经介绍了一种在机器人手术中检测缝合线应变的视频处理方法。这种基于视频的方法采用一套图像处理算法，识别缝合线，定位和跟踪缝合线上标记的位移，并将标记位移转换为缝线应变值。该方法能够跟踪移动缝线上的标记，这在外科手术中是必需的。该视频方法的性能通过使用液压试验机和2.0 Dexon II缝合线的一系列应变试验来评估。这些测试显示，对于静止缝合线上的单标记物跟踪，最小可检测应变为0.2％，对于移动缝合线上的临床相关双标记物跟踪，显示0.5％。这些最小可检测菌株比大多数缝合材料失效的已知菌株（20 +％）小两个数量级，从而在临床环境中具有很大的安全性。
通过商业应用的高对比度标记缝合，预期该技术的分辨率的进一步改善。当前视频处理算法的限制是当缝合线与摄像机成倾斜角度时不能精确地检测应变。我们目前正在开发一种立体成像算法，用于计算缝合线和摄像机之间的角度。鉴于此信息，可见缝线应变用于确定总缝线应变。立体成像的添加将使临床应用更加稳健。机器人辅助手术过程中缝线张力的实时反馈有望弥补机器人手术中目前缺乏的感觉反馈，从而减少学习曲线并提高机器人辅助手术的安全性。
参考：
Visual Measurement of Suture Strain for Robotic Surgery
1. Gerhardus D. Robot-assisted surgery: the future is here. Journal of Healthcare Management. 2003;48(4):242–251.
2. Mack MJ. Minimally invasive and robotic surgery. Journal of the American Medical Association. 2001;285(5):568–572.
3. Shennib H, Bastawisy A, Mack MJ, Moll FH. Computer-assisted telemanipulation: an enabling technology for endoscopic coronary artery bypass. Annals of Thoracic Surgery. 1998;66(3):1060–1063.
4. Hagen ME, Meehan JJ, Inan I, Morel P. Visual clues act as a substitute for haptic feedback in robotic surgery. Surgical Endoscopy and Other Interventional Techniques. 2008;22(6):1505–1508.
5. Personal communication with Hisham Bassiouni, M.D
6. Kitagawa M, Dokko D, Okamura AM, Yuh DD. Effect of sensory substitution on suture-manipulation forces for robotic surgical systems. Journal of Thoracic and Cardiovascular Surgery. 2005;129(1):151–158.
7. Akinbiyi T, Reiley CE, Saha S, et al. Dynamic augmented reality for sensory substitution in robot-assisted surgical systems. In: Proceedings of the 28th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBS ’06); September 2006; pp. 567–570.
8. Shimachi S, Hirunyanitiwatna S, Fujiwara Y, Hashimoto A, Hakozaki Y. Adapter for contact force sensing of the da Vinci® robot. International Journal of Medical Robotics and Computer Assisted Surgery. 2008;4(2):121–130.
9. Reiley CE, Akinbiyi T, Burschka D, Chang DC, Okamura AM, Yuh DD. Effects of visual force feedback on robot-assisted surgical task performance. Journal of Thoracic and Cardiovascular Surgery. 2008;135(1):196–202.
10. Greenwald D, Shumway S, Albear P, Gottlieb L. Mechanical comparison of 10 suture materials before and after in vivo incubation. Journal of Surgical Research. 1994;56(4):372–377.
11. Deans RS. The Radon Transform and Some of Its Applications. New York, NY, USA: John Wiley & Sons; 1983.
12. Duda RO, Hart PE. Use of the Hough transformation to detect lines and curves in pictures. Communications of the ACM. 1972;15(1):11–15.
13. Sonka M, Hlavac V, Boyle R. Image Processing, Analysis and Machine Vision. London, UK: Chapman & Hall; 1993.
14. Nevatia R. Machine Perception. Englewood Cliffs, NJ, USA: Prentice-Hall; 1982.
页:
[1]