專(zhuān)利名稱(chēng)：配準(zhǔn)過(guò)的表面下解剖部的可視化的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于表面下解剖部的可視化(visualization of subsurfaceanatomy)的系統(tǒng)和方法。更具體地，本發(fā)明涉及用于使用兩個(gè)不同的成像模態(tài)的表面下解剖部的可視化的系統(tǒng)和方法。
背景技術(shù)：
在手術(shù)期間，重要的是，外科醫(yī)生可以足夠地可視化受試者(subject)的解剖部。目前的手術(shù)系統(tǒng)被限于受試者的解剖部的實(shí)時(shí)視覺(jué)成像。例如，在腹腔鏡手術(shù)中，來(lái)自立體視頻內(nèi)窺鏡的圖像被提供給外科醫(yī)生，使得關(guān)心的區(qū)域可以對(duì)外科醫(yī)生可視化。然而，內(nèi)窺鏡圖像不提供患者的表面下解剖部的任何可視化。相似地，用于軟組織手術(shù)的商業(yè)遙控機(jī)器人手術(shù)系統(tǒng)通常被限于視覺(jué)成像。用于微創(chuàng)手術(shù)的遙控機(jī)器人輔助已經(jīng)在臨床實(shí)踐中被良好地建立。例如，超過(guò)1750種DAVlNCik'機(jī)器人手術(shù)系統(tǒng)以及多種其他的機(jī)器人攝像機(jī)操縱器例如AESOP (IntuitiveSurgical有限公司)和ENDOASSIST (Prosurgics有限公司)處于臨床使用中。在美國(guó)，機(jī)器人手術(shù)現(xiàn)在是用于正在進(jìn)行的關(guān)鍵的前列腺切除術(shù)的主要的治療方式。機(jī)器人手術(shù)還在心臟手術(shù)以及復(fù)雜的婦科和泌尿外科的手術(shù)的領(lǐng)域中廣泛應(yīng)用。機(jī)器人手術(shù)現(xiàn)在還正在用于腎癌的治療的部分腎切除術(shù)。因?yàn)殛P(guān)鍵的表面以及手術(shù)`目標(biāo)經(jīng)常位于表面下，所以隨著機(jī)器人手術(shù)獲得流行多種可視化技術(shù)已經(jīng)被研究。這包括神經(jīng)、血管和腫瘤的可視化。超聲已經(jīng)在之前被用于在機(jī)器人手術(shù)中提供腫瘤的配準(zhǔn)過(guò)的可視化，但是超聲遭受噪音、差的靈敏度和專(zhuān)一性的損害，并且主要用于定位深藏于表面下方的大的腫瘤或把儀器引導(dǎo)至它們。超聲還提供窄的視場(chǎng)并且需要接觸操縱以獲取任何圖像。光學(xué)相干斷層成像(OCT)也已經(jīng)被用于成像解剖結(jié)構(gòu)。然而，OCT是數(shù)據(jù)密集的，具有小的視場(chǎng)和近接觸成像，需要大量的測(cè)試和計(jì)算，并且因此對(duì)于對(duì)大的視場(chǎng)進(jìn)行成像是不合適的。此外，當(dāng)多重的成像模態(tài)被使用時(shí)，圖像典型地作為畫(huà)中畫(huà)圖像被顯示。然而，難以把這樣的信息與主要的內(nèi)窺鏡視圖相關(guān)聯(lián)，因?yàn)槠淇赡懿簧婕耙曈X(jué)內(nèi)窺鏡圖像中可見(jiàn)的表面。雖然畫(huà)中畫(huà)可視化(picture-1n-picture visualization)提供相對(duì)于單獨(dú)的視覺(jué)內(nèi)窺鏡視圖的優(yōu)點(diǎn)，但是對(duì)于人類(lèi)來(lái)說(shuō)仍然是困難的是解釋以非常不同的和無(wú)關(guān)的視點(diǎn)存在的多重的信息源。雖然用于神經(jīng)、血管和腫瘤的可視化的工具和標(biāo)記物已經(jīng)獲得有意義的研究，但是尿道的積分成像尚未得到足夠的注意。在改進(jìn)泌尿外科手術(shù)的形勢(shì)的認(rèn)知度上，輸尿管的可動(dòng)化(mobilization)是重要的。輸尿管手術(shù)需要在腎盂輸尿管交界處(UPJ)或輸尿管膀胱連接部(UVJ)處的可動(dòng)化和橫斷。輸尿管的可動(dòng)化提出許多獨(dú)特的挑戰(zhàn)，包括把輸尿管從一個(gè)或多個(gè)向其供應(yīng)血液的動(dòng)脈斷開(kāi)連接，導(dǎo)致各種程度的局部缺血，導(dǎo)致在吻合部中的狹窄。目前的成像模態(tài)不提供任何用于在這樣的過(guò)程期間有效地對(duì)表面下輸尿管進(jìn)行成像的手段。據(jù)此，在本領(lǐng)域中，需要一種集成成像系統(tǒng)，用于泌尿系統(tǒng)的可視化的實(shí)時(shí)多模圖像配準(zhǔn)。此外，在本領(lǐng)域中，需要整合計(jì)算機(jī)視覺(jué)方法，以精確地分割和追蹤解剖學(xué)信息，例如輸尿管和腎收集系統(tǒng)。最后，在本領(lǐng)域中，需要表面圖像和表面下圖像之間的精確的配準(zhǔn)，以創(chuàng)建增強(qiáng)手術(shù)認(rèn)知度以使關(guān)鍵的輸尿管任務(wù)更容易的融合的可視化。概述根據(jù)本發(fā)明的第一方面，用于被包含在可見(jiàn)表面下方的解剖結(jié)構(gòu)的可視化的方法包括:使用第一攝像機(jī)獲得關(guān)心的區(qū)域的第一圖像；使用第一攝像機(jī)的第二通道或第二攝像機(jī)獲得關(guān)心的區(qū)域的第二圖像，第二攝像機(jī)和第一攝像機(jī)的第二通道能夠在紫外光譜、可見(jiàn)光譜或紅外光譜中對(duì)表面下方的解剖部進(jìn)行成像，第一圖像和第二圖像含有被共享的解剖結(jié)構(gòu)；進(jìn)行在第一圖像和第二圖像之間的配準(zhǔn)；以及生成配準(zhǔn)過(guò)的可視化。根據(jù)本發(fā)明的第二方面，用于被包含在可見(jiàn)表面下方的解剖結(jié)構(gòu)的可視化的集成手術(shù)系統(tǒng)包括:第一攝像機(jī)，其用于獲得關(guān)心的區(qū)域的第一圖像；第一攝像機(jī)的第二通道或第二攝像機(jī)，其用于獲得關(guān)心的區(qū)域的第二圖像，第二攝像機(jī)和第一攝像機(jī)的第二通道能夠在紫外光譜、可見(jiàn)光譜或紅外光譜中對(duì)表面下方的解剖部進(jìn)行成像，其中第一圖像和第二圖像含有被共享的解剖結(jié)構(gòu)。數(shù)據(jù)處理器被配置為用于計(jì)算第一攝像機(jī)對(duì)第二攝像機(jī)或第一攝像機(jī)的第二通道的配準(zhǔn)，并且可視界面被設(shè)置為顯示配準(zhǔn)過(guò)的可視化。附圖簡(jiǎn)述附圖提供可見(jiàn)的表現(xiàn)形式，可見(jiàn)的表現(xiàn)形式將被用于更完全地描述本文公開(kāi)的代表性的實(shí)施方案并且可以被本領(lǐng)域的技術(shù)人員用于更好地理解它們和它們的固有的優(yōu)點(diǎn)。在這些附圖中，相似的參考數(shù)字標(biāo)識(shí)相應(yīng)的單元，并且:


圖1是根據(jù)本發(fā)明的特征的示例性的成像系統(tǒng)的示意圖。圖2是根據(jù)本發(fā)明的特征的示例性的方法的示意圖。圖3是根據(jù)本發(fā)明的特征的示例性的方法的示意圖。圖4是根據(jù)本發(fā)明的特征的示例性的方法的示意圖。圖5是根據(jù)本發(fā)明的特征的近紅外圖像對(duì)立體內(nèi)窺鏡圖像的配準(zhǔn)過(guò)的疊加的照片。優(yōu)選的實(shí)施方案的詳細(xì)描述現(xiàn)在將在下文參照附圖更完全地描述現(xiàn)在公開(kāi)的主題內(nèi)容，在附圖中，本發(fā)明的某些而非所有的實(shí)施方案被示出?，F(xiàn)在公開(kāi)的主題內(nèi)容可以被以許多不同的形式實(shí)施并且不應(yīng)當(dāng)被解釋為限于本文提出的實(shí)施方案；而是這些實(shí)施方案被提供，以使得本公開(kāi)內(nèi)容將滿(mǎn)足適用的法定要求。實(shí)際上，本文提出的現(xiàn)在公開(kāi)的主題內(nèi)容的許多修改和其他的實(shí)施方案將被現(xiàn)在公開(kāi)的主題內(nèi)容涉及的領(lǐng)域的技術(shù)人員想到，其具有在上文的說(shuō)明書(shū)和相關(guān)聯(lián)的附圖中提出的教導(dǎo)內(nèi)容的權(quán)益。因此，將理解，現(xiàn)在公開(kāi)的主題內(nèi)容不限于所公開(kāi)的具體的實(shí)施方案，并且修改和其他的實(shí)施方案意圖被包含在所附的權(quán)利要求的范圍內(nèi)。本發(fā)明涉及用于在任何類(lèi)型的手術(shù)程序期間的表面下解剖部的可視化的系統(tǒng)和方法，所述手術(shù)包括但不限于腹腔鏡手術(shù)、機(jī)器人手術(shù)和其他的微創(chuàng)手術(shù)以及開(kāi)放手術(shù)(open surgery)。本發(fā)明允許從關(guān)心的區(qū)域的兩個(gè)源成像。在以下的實(shí)施方案中，給出兩源實(shí)施例。然而，本發(fā)明可以利用圖像的多于兩個(gè)源。第一源獲得關(guān)心的區(qū)域的第一圖像，并且第二源使用能夠?qū)Ρ砻嫦路降慕馄什窟M(jìn)行成像的第一攝像機(jī)的第二通道或第二攝像機(jī)獲得關(guān)心的區(qū)域的第二圖像，其中第一圖像和第二圖像含有被共享的解剖結(jié)構(gòu)。配準(zhǔn)在第一圖像和第二圖像之間進(jìn)行，使得配準(zhǔn)過(guò)的可視化可以被生成。雖然本發(fā)明的示例性的實(shí)施方案主要地在機(jī)器人手術(shù)系統(tǒng)的內(nèi)容中描述，但是應(yīng)當(dāng)理解，本發(fā)明的系統(tǒng)和方法適用于其他的手術(shù)平臺(tái)，例如徒手(freehand)腹腔鏡手術(shù)和其他的微創(chuàng)手術(shù)以及開(kāi)放手術(shù)。參照?qǐng)D1，本發(fā)明的系統(tǒng)和方法參照示例性的機(jī)器人手術(shù)系統(tǒng)2被描述。可以結(jié)合有本發(fā)明的可視化的方法和系統(tǒng)的機(jī)器人手術(shù)系統(tǒng)的一個(gè)實(shí)例是由加利福尼亞州的山景城的Intuitive Surgical, Inc.制造的DAVINCT 系統(tǒng)。如本領(lǐng)域中已知的，機(jī)器人手術(shù)系統(tǒng)2包括了包含外科醫(yī)生控制臺(tái)的主控制站4。外科醫(yī)生控制臺(tái)優(yōu)選地包括一對(duì)主操縱器和一個(gè)顯示器，其允許外科醫(yī)生察看3維自動(dòng)化立體圖像以及操縱一個(gè)或多個(gè)從屬站。除了 3維自動(dòng)化立體成像之外，顯示器還允許多重視頻源的同時(shí)可視化。機(jī)器人手術(shù)系統(tǒng)2可以包括任何數(shù)量的從屬站，包括但不限于用于容納立體內(nèi)窺鏡視野(stereo endoscopic vision)以及計(jì)算設(shè)備的視覺(jué)推車(chē)6以及具有一個(gè)或多個(gè)患者側(cè)操縱器10的患者推車(chē)8。如本領(lǐng)域中已知的，范圍廣泛的可容易移除的手術(shù)儀器可以被附接于患者推車(chē)8的患者側(cè)操縱器10，其響應(yīng)于在外科醫(yī)生控制臺(tái)處的主操縱器的移動(dòng)而移動(dòng)。此外，應(yīng)當(dāng)理解，根據(jù)本發(fā)明的特征的機(jī)器人手術(shù)系統(tǒng)可以包括一個(gè)或多個(gè)主操縱器、以及任何數(shù)量的從屬操縱器，如本領(lǐng)域中已知的。當(dāng)進(jìn)行手術(shù)時(shí)，本發(fā)明的系統(tǒng)和方法允許表面下解剖部的更綜合性的可視化。在機(jī)器人手術(shù)的背景下，第一攝像機(jī)12可以被附接于患者推車(chē)8的患者側(cè)操縱器。優(yōu)選地，第一攝像機(jī)12是能夠?qū)﹃P(guān)心的區(qū)域的表面進(jìn)行成像的立體內(nèi)窺鏡攝像機(jī)。然而，應(yīng)當(dāng)理解，第一攝像機(jī)12可以是任何類(lèi)型的能夠?qū)﹃P(guān)心的區(qū)域的表面進(jìn)行成像的攝像機(jī)。在機(jī)器人手術(shù)的背景下，被內(nèi)窺鏡12獲取的圖像可以被顯示在外科醫(yī)生控制臺(tái)的自動(dòng)化立體顯示器上，以由此在手術(shù)期間指導(dǎo)外科醫(yī)生。圖像還可以被引導(dǎo)至視覺(jué)推車(chē)6，以允許在其上的顯不O在腹腔鏡手術(shù)的背景下，第一攝像機(jī)12可以被設(shè)置在一個(gè)口內(nèi)，并且第二攝像機(jī)20可以被設(shè)置在另一個(gè)口內(nèi)。第一攝像機(jī)12獲得第一圖像，并且第二攝像機(jī)20獲得第二圖像，其中每個(gè)第一圖像和第二圖像含有被共享的解剖結(jié)構(gòu)。第二攝像機(jī)20能夠在紫外光譜、可見(jiàn)光譜或紅外光譜中對(duì)表面下方的解剖部進(jìn)行成像。配準(zhǔn)被在第一圖像和第二圖像之間進(jìn)行，這生成配準(zhǔn)過(guò)的可視化。相似地，在開(kāi)放手術(shù)中，第一攝像機(jī)12和第二攝像機(jī)20應(yīng)當(dāng)被設(shè)置為使得從第一攝像機(jī)12和第二攝像機(jī)20獲得的第一圖像和第二圖像含有被共享的解剖結(jié)構(gòu)。然后圖像被處理和配準(zhǔn)以生成配準(zhǔn)過(guò)的可視化。然而，應(yīng)當(dāng)理解，第一攝像機(jī)可以包括在其中察看不同的類(lèi)型的圖像的兩個(gè)通道。以這種方式，第一通道將是可操作的，以獲得關(guān)心的區(qū)域的第一圖像，并且第一攝像機(jī)的第二通道將能夠在紫外光譜、可見(jiàn)光譜或紅外光譜中對(duì)表面下方的解剖部進(jìn)行成像，以獲得關(guān)心的區(qū)域的第二圖像。根據(jù)本發(fā)明的特征，被第一攝像機(jī)12獲取的圖像必須被進(jìn)一步處理，以啟用根據(jù)本發(fā)明的特征的配準(zhǔn)過(guò)的可視化。特別地，從第一攝像機(jī)12獲得的圖像優(yōu)選地被發(fā)送至工作站14。工作站14包括用于進(jìn)行根據(jù)本發(fā)明的特征的可視化的數(shù)據(jù)處理器16或計(jì)算機(jī)系統(tǒng)。數(shù)據(jù)處理器包括存儲(chǔ)器設(shè)備18，該存儲(chǔ)器設(shè)備具有帶有機(jī)器可讀指令的程序，其用于進(jìn)行必需的算法以生成根據(jù)本發(fā)明的特征的可視化。工作站14可以是獨(dú)立的計(jì)算機(jī)系統(tǒng)或可以被結(jié)合到現(xiàn)有的軟件中。例如，在機(jī)器人手術(shù)的背景下，數(shù)據(jù)處理器14可以被結(jié)合到現(xiàn)有的用于丨)AVINC丨κ手術(shù)系統(tǒng)的軟件中。除了從內(nèi)窺鏡攝像機(jī)和類(lèi)似物生成的傳統(tǒng)的圖像之外，類(lèi)似于攝像機(jī)的第二攝像機(jī)20 (或第一攝像機(jī)的第二通道)被提供，以用于表面下解剖部的成像。優(yōu)選地，第二攝像機(jī)20 (或第一攝像機(jī)的第二通道)能夠在紫外光譜、可見(jiàn)光譜和紅外光譜中對(duì)表面下方的解剖部進(jìn)行成像。在本示例性的實(shí)施方案中，第二攝像機(jī)或第一攝像機(jī)的第二通道是近紅外成像器(NIR)。NIR圖像提供來(lái)自不同的視圖的位于表面略微下方的解剖部特征(例如輸尿管和收集系統(tǒng))。近紅外(NIR)熒光成像可以捕獲在內(nèi)窺鏡可見(jiàn)光成像中不可見(jiàn)的其他的相關(guān)的解剖部。熒光在熒光團(tuán)衰減并且發(fā)射N(xiāo)IR光子時(shí)發(fā)生，這然后可以被取樣和可視化。NIR成像已經(jīng)被用于對(duì)尿道進(jìn)行可視化以用于尿中的新陳代謝的表征以及膀胱癌的檢測(cè)。然而，其他的類(lèi)型的攝像機(jī)可以被使用，例如IR(紅外)成像器、遠(yuǎn)紅外成像器(FIR)和類(lèi)似物。相似于來(lái)自第一攝像機(jī)12的圖像，來(lái)自第二攝像機(jī)20 (或第一攝像機(jī)的第二通道)的圖像優(yōu)選地被發(fā)送至工作站14，并且在其中被處理。如上文描述的，存儲(chǔ)器設(shè)備18包括機(jī)器可讀指令，用于進(jìn)行必需的算法以用于生成根據(jù)本發(fā)明的特征的可視化。對(duì)于DAVINGI 機(jī)器人手術(shù)系統(tǒng)來(lái)說(shuō)，其操縱器的移動(dòng)的流測(cè)量(streamingmeasurement)是可能的。特別地，應(yīng)用程序接口(API)提供對(duì)移動(dòng)矢量的透明訪問(wèn)，包括關(guān)節(jié)角度和速度、直角坐標(biāo)位置和速度、夾具角度以及關(guān)節(jié)轉(zhuǎn)矩?cái)?shù)據(jù)。DAVINGI .機(jī)器人手術(shù)系統(tǒng)還可以包括當(dāng)前的立體內(nèi)窺鏡攝像機(jī)姿態(tài)、以及攝像機(jī)姿態(tài)的變化。API可以被配置為使得以各種速率(高至100Hz)流動(dòng)，以提供比視頻獲取速率更好的操縱數(shù)據(jù)。API提供可用于內(nèi)窺鏡圖像對(duì)表面下圖像的配準(zhǔn)的數(shù)據(jù)。如在圖1中匯總的，來(lái)自第一攝像機(jī)12和第二攝像機(jī)20 (或第一攝像機(jī)的第二通道)的圖像優(yōu)選地經(jīng)過(guò)以下的步驟:圖像獲取、分割和預(yù)處理、配準(zhǔn)、以及可視化和交互，其將在下文更詳細(xì)地描述。在圖像獲取之前，第一攝像機(jī)12和第二攝像機(jī)20 (或第一攝像機(jī)的第二通道)優(yōu)選地被校準(zhǔn)以識(shí)別固有的和外部的攝像機(jī)參數(shù)。校準(zhǔn)是簡(jiǎn)單的過(guò)程并且每當(dāng)在具有光學(xué)鏈的重配置時(shí)可以被重復(fù)。例如，攝像機(jī)可以使用用于MATLAB的攝像機(jī)校準(zhǔn)工具箱被校準(zhǔn)。一旦攝像機(jī)被校準(zhǔn)，那么圖像被從第一攝像機(jī)12和第二攝像機(jī)20 (或第一攝像機(jī)的第二通道)獲取。參照?qǐng)D2，關(guān)心的區(qū)域的第一圖像22使用第一攝像機(jī)獲得，并且關(guān)心的區(qū)域的第二圖像24使用第二攝像機(jī)(或第一攝像機(jī)的第二通道)獲得。第一圖像22作為從內(nèi)窺鏡取得的立體圖像被示出并且第二圖像24作為從IR攝像機(jī)取得的單一圖像被示出。然而，應(yīng)當(dāng)理解，第一圖像22可以是立體或單一圖像，并且第二圖像24可以是立體或單一圖像。此外，其他的類(lèi)型的圖像是可能的，并且在本發(fā)明的范圍內(nèi)。一旦第一圖像和第二圖像被獲取，那么圖像被處理使得它們可以被向彼此配準(zhǔn)。根據(jù)示例性的實(shí)施方案的特征，第一圖像22和 第二圖像24使用之前計(jì)算出的校準(zhǔn)參數(shù)被矯正。矯正過(guò)的圖像中的相應(yīng)的特征然后被用于找到每個(gè)基準(zhǔn)點(diǎn)在相應(yīng)的圖像空間中的3維位置，即在內(nèi)窺鏡視圖中的3維點(diǎn)以及在表面下視圖中的3維或2維位置。一旦立體圖像中的3維位置和NIR成像器中的圖像特征之間的對(duì)應(yīng)被建立，那么齊次方程AX = XB被解出以獲得配準(zhǔn)基準(zhǔn)和相應(yīng)的成像器之間的配準(zhǔn)變換T = (R，P)?？紤]到兩個(gè)變換Ti = (Ri, Pi)，兩個(gè)成像器之間的配準(zhǔn)通過(guò)各個(gè)變換的合適的合成(RiR/,P1-Ri, RjtPj)被獲得。配準(zhǔn)然后允許待被創(chuàng)建的圖像的疊加、畫(huà)中畫(huà)可視化或融合。雖然圖像平面之間的剛性配準(zhǔn)在此被描述，但是該方法同等地適用于采用從攝像機(jī)圖像(或相關(guān)聯(lián)的外科手術(shù)前CT/MR圖像數(shù)據(jù))提取的表面和體積的非剛性2D-2D、2D-3D和3D-3D配準(zhǔn)方法。在這樣的情況下，分別的配準(zhǔn)將在第一攝像機(jī)和對(duì)表面下解剖部進(jìn)行可視化的第二攝像機(jī)之間以及在第二攝像機(jī)和外科手術(shù)前影像之間進(jìn)行。這將建立在三個(gè)空間之間的可以被實(shí)時(shí)地更新的配準(zhǔn)，而沒(méi)有任何基于接觸的/侵入的/輻射的成像。交互的、基于界標(biāo)(landmark)的以及自動(dòng)化的配準(zhǔn)方法全部同等地適用于建立用于這樣的配準(zhǔn)的特征點(diǎn)。在配準(zhǔn)方法被進(jìn)行之后，第二圖像24被疊加在第一圖像22的頂部，由此創(chuàng)建融合疊加部26。這創(chuàng)建表面下解剖部的可視化，其對(duì)于單獨(dú)的內(nèi)窺鏡是不可能的。即，配準(zhǔn)過(guò)的可視化融合第一圖像和第二圖像以創(chuàng)建單個(gè)視圖。疊加部提供關(guān)于解剖部的結(jié)構(gòu)的重要信息，其從通過(guò)內(nèi)窺鏡獲得的表面圖像是不可見(jiàn)的。雖然疊加部26被示出，但是畫(huà)中畫(huà)可視化和類(lèi)似物是可能的并且在本發(fā)明的范圍內(nèi)。優(yōu)選地，配準(zhǔn)被實(shí)時(shí)地進(jìn)行并且當(dāng)?shù)谝粩z像機(jī)或第二攝像機(jī)的位置有變化時(shí)被更新。然而，應(yīng)當(dāng)理解，在一個(gè)攝像機(jī)被移除之后或如果攝像機(jī)由于發(fā)熒光的標(biāo)記物被排出而不再生成良好的圖像，使用收集的圖像的配準(zhǔn)可以被保持。這通過(guò)依賴(lài)于被存儲(chǔ)在數(shù)據(jù)處理器中的之前的圖像來(lái)實(shí)現(xiàn)，并且不依賴(lài)于來(lái)自不起作用的攝像機(jī)的實(shí)時(shí)圖像。參照?qǐng)D3，圖示了使用來(lái)自第一攝像機(jī)和第二攝像機(jī)(或第一攝像機(jī)的第二通道)的立體圖像的示例性的配準(zhǔn)方法的細(xì)節(jié)。特別地，圖示了基于特征的配準(zhǔn)方法，其涉及每個(gè)待被配準(zhǔn)的圖像的相應(yīng)的特征的提取。這些特征包括但不限于顏色、邊緣、角落、紋路或更穩(wěn)健的特征 (more robust feature),其然后被用于計(jì)算兩個(gè)圖像之間的變換。優(yōu)選地，對(duì)于照亮的變化穩(wěn)健的并且在第一攝像機(jī)成像范圍和第二攝像機(jī)成像范圍二者中可用以匹配動(dòng)態(tài)手術(shù)環(huán)境的特征被選擇。這樣的特征包括空間的和基本的加權(quán)過(guò)的特征以及位于解剖學(xué)界標(biāo)中的梯度特征。探測(cè)到的特征可以使用標(biāo)準(zhǔn)方法例如差方和(SSD)方法被追蹤。在矯正過(guò)的立體像對(duì)中，特征對(duì)應(yīng)可以然后使用圖像相似性度量例如歸一化交對(duì)比(NCC)、差方和(SSD)或零平均SSD被計(jì)算。在用于立體像對(duì)中的特征的圖像坐標(biāo)之間的繪圖(視差圖)然后作為過(guò)度約束線性系統(tǒng)(over-constrained linear system)被公式化并且解出。然而，雖然基于特征的配準(zhǔn)方法參照本發(fā)明的示例性的實(shí)施方案被主要地描述，但是應(yīng)當(dāng)理解，任何類(lèi)型的配準(zhǔn)是可能的，包括基于面積的配準(zhǔn)，如由Zitova等人，“Image registration methods:a survey”，Image and Vision Computing,21 (11):977-1000 (2003)更完全地描述的，其全部公開(kāi)內(nèi)容通過(guò)弓I用并入本文。此外，還應(yīng)當(dāng)理解，配準(zhǔn)方法可以計(jì)算單個(gè)剛性的同質(zhì)變換或?qū)?lái)自?xún)蓚€(gè)圖像源的兩個(gè)重構(gòu)的表面對(duì)準(zhǔn)的可形變的繪圖(deformable map)。當(dāng)應(yīng)用剛性配準(zhǔn)時(shí),配準(zhǔn)是在第一圖像和第二圖像的圖像平面之間。當(dāng)?shù)谝粓D像是立體圖像并且第二圖像是立體圖像時(shí)，配準(zhǔn)可以是以平面幾何學(xué)的方式。當(dāng)應(yīng)用可形變配準(zhǔn)時(shí)，配準(zhǔn)過(guò)的2D-3D或3D-3D點(diǎn)之間的關(guān)系允許用于可視化的表面下圖像的形變。據(jù)此，可形變配準(zhǔn)可以在從立體圖像創(chuàng)建的表現(xiàn)形式之間進(jìn)行。如本領(lǐng)域中已知的，可形變配準(zhǔn)可以使用表面、體積和類(lèi)似物。根據(jù)本示例性的實(shí)施方案，在關(guān)心的區(qū)域中的基準(zhǔn)標(biāo)記物30上的點(diǎn)被用于配準(zhǔn)兩個(gè)圖像。在手術(shù)期間，基準(zhǔn)標(biāo)記物30可以是被放置到表面下解剖部上的目標(biāo)(object)，如本領(lǐng)域中已知的。此外，基準(zhǔn)標(biāo)記物30可以是虛擬的，例如通過(guò)使用結(jié)構(gòu)光系統(tǒng)。此外，基準(zhǔn)標(biāo)記物可以是解剖學(xué)界標(biāo)。在這點(diǎn)上，解剖學(xué)界標(biāo)可以被交互地注釋或標(biāo)記。可選擇地，解剖學(xué)界標(biāo)中的僅某些可以被交互地注釋或標(biāo)記，而其余的配準(zhǔn)被自動(dòng)地進(jìn)行(例如使用諸如SIFT或SURF的方法)。此外，配準(zhǔn)可以是完全地自動(dòng)的，使用諸如SIFT或SURF的方法。參照?qǐng)D4，圖示了示例性的根據(jù)本發(fā)明的特征的配準(zhǔn)方法。配準(zhǔn)方法以?xún)?nèi)窺鏡(第一攝像機(jī))和NIR成像器(第二攝像機(jī)或第一攝像機(jī)的第二通道)為特征。然而，如上文描述的，多種其他的成像模態(tài)可以被用于第一攝像機(jī)和第二攝像機(jī)或第一攝像機(jī)的第二通道。在步驟100，立體圖像從內(nèi)窺鏡和NIR成像器獲取。在步驟102中，每個(gè)像對(duì)使用之前計(jì)算出的校準(zhǔn)參數(shù)被矯正。在步驟104，相應(yīng)的特征點(diǎn)被設(shè)置在每個(gè)對(duì)中。根據(jù)示例性的方法，至少六個(gè)特征點(diǎn)被檢測(cè)到。然而，更少的或更多的特征點(diǎn)可以根據(jù)應(yīng)用和設(shè)計(jì)偏好被選擇。

在步驟106，用于內(nèi)窺鏡圖像的3維點(diǎn)優(yōu)選地使用攝像機(jī)參數(shù)由所選擇的特征點(diǎn)被生成，并且用于表面下圖像的3維點(diǎn)由表面下圖像的所選擇的特征點(diǎn)被生成。然而，如上文描述的，應(yīng)當(dāng)理解，表面下圖像可以是單一圖像，其可以被用于生成用于表面下圖像的2維點(diǎn)。在步驟108，所述內(nèi)窺鏡圖像的所選擇的特征點(diǎn)使用上文描述的配準(zhǔn)變換對(duì)NIR圖像的所選擇的特征點(diǎn)被配準(zhǔn)。在步驟110，配準(zhǔn)被用于生成兩個(gè)圖像的疊加或畫(huà)中畫(huà)可視化，其可以然后使用任何移動(dòng)被更新?？梢暬缓蟊伙@示在可視界面上。在機(jī)器人手術(shù)的背景下，可視化優(yōu)選地被顯示在外科醫(yī)生控制臺(tái)上，或在視覺(jué)推車(chē)6或患者推車(chē)8上的顯示器上(圖1)。在腹腔鏡手術(shù)的背景下，可視界面可以是被設(shè)置為毗鄰于外科醫(yī)生的顯示器。以這種方式，可視化被用作手術(shù)中顯示(intra-operativedisplay)。此外，可視化可以生成分別的配準(zhǔn)過(guò)的圖像(畫(huà)中畫(huà)可視化)并且可視界面可以是多視圖顯示(mult1-view display)。然而,任何多種類(lèi)型的顯示和配準(zhǔn)是可能的,取決于應(yīng)用和設(shè)計(jì)偏好。此外，外科醫(yī)生還可以以另一種“masters as mice”模式操縱圖像，其中主操縱器被從從屬操縱器脫耦合，并且被用作3D輸入設(shè)備以在3D環(huán)境中操縱圖形目標(biāo)。例如，外科醫(yī)生可以把疊加部移動(dòng)至視野的不同的區(qū)，使得其不阻礙重要的解剖部的察看。見(jiàn)例如美國(guó)專(zhuān)利公布第2009/0036902號(hào)，其整個(gè)內(nèi)容通過(guò)引用并入本文。據(jù)此，本發(fā)明提供集成的手術(shù)系統(tǒng)和方法，其允許患者的表面下解剖部的從兩個(gè)分離的成像源的配準(zhǔn)過(guò)的可視化，使得患者的表面下解剖在手術(shù)程序期間被更精確地可視化。這種技術(shù)將是對(duì)于輸尿管可動(dòng)化以及其他的高靈敏度的操作的復(fù)雜性來(lái)說(shuō)大有益處。
實(shí)施例以下的實(shí)施例已經(jīng)被包括，以向本領(lǐng)域的技術(shù)人員提供用于實(shí)踐現(xiàn)在公開(kāi)的主題內(nèi)容的代表性的實(shí)施方案的指導(dǎo)。根據(jù)本公開(kāi)內(nèi)容和本領(lǐng)域的技術(shù)的一般水平，本領(lǐng)域的技術(shù)人員可以意識(shí)到，以下的實(shí)施例意圖是僅示例性的，并且多種改變、修改和變化可以被采用，而不偏離現(xiàn)在公開(kāi)的主題內(nèi)容的范圍。以下的實(shí)施例以例證的方式而非限制的方式被提供。實(shí)施例1使用含有模擬膀胱和輸尿管以及適合于NIR和立體內(nèi)窺鏡成像二者的非臨床化學(xué)發(fā)光劑的無(wú)毒彈道凝膠假體(ballistic gel phantom),用于使用DAVINCl S 機(jī)器人手術(shù)系統(tǒng)的工程驗(yàn)證。在第一實(shí)驗(yàn)中，把假體和NIR成像器放置在具有內(nèi)窺鏡口的軀干模型中，以收集單一和立體NIR視頻以及立體內(nèi)窺鏡視頻。構(gòu)建定制的立體紅外成像器原型，其具有由位于加利福尼亞州的門(mén)洛帕克的Videre Design供應(yīng)的兩個(gè)攝像機(jī)。使用原型成像器，可用的配準(zhǔn)精確度使用至少6個(gè)特征被獲得(小于立體圖像空間中的6個(gè)像素)。該平均RMS誤差當(dāng)使用14個(gè)特征點(diǎn)時(shí)下降至低于3個(gè)像素(最多4.93個(gè)像素)。表格I包括代表性的基準(zhǔn)配準(zhǔn)誤差。表格I使用14個(gè)基準(zhǔn)的基準(zhǔn)配準(zhǔn)誤差
權(quán)利要求
1.一種用于被包含在可見(jiàn)表面下方的解剖結(jié)構(gòu)的可視化的方法，包括: 使用第一攝像機(jī)獲得關(guān)心的區(qū)域的第一圖像； 使用所述第一攝像機(jī)的第二通道或第二攝像機(jī)獲得所述關(guān)心的區(qū)域的第二圖像，所述第二攝像機(jī)和所述第一攝像機(jī)的所述第二通道能夠在紫外光譜、可見(jiàn)光譜或紅外光譜中對(duì)所述表面下方的解剖部進(jìn)行成像； 進(jìn)行在所述第一圖像和所述第二圖像之間的配準(zhǔn)；以及 生成配準(zhǔn)過(guò)的可視化。
2.根據(jù)權(quán)利要求1所述的方法，其中所述配準(zhǔn)過(guò)的可視化融合所述第一圖像和所述第二圖像以創(chuàng)建單個(gè)視圖。
3.根據(jù)權(quán)利要求1所述的方法，其中所述可視化生成在多視圖顯示中的分立的配準(zhǔn)過(guò)的圖像。
4.根據(jù)權(quán)利要求3所述的方法，其中所述多視圖顯示是畫(huà)中畫(huà)可視化。
5.根據(jù)權(quán)利要求1所述的方法，其中所述配準(zhǔn)使用解剖學(xué)界標(biāo)進(jìn)行。
6.根據(jù)權(quán)利要求1所述的方法，其中所述解剖學(xué)界標(biāo)被交互地注釋。
7.根據(jù)權(quán)利要求6所述的方法，其中解剖學(xué)界標(biāo)被自動(dòng)地并且交互地注釋。
8.根據(jù)權(quán)利要求1所述的方法，其中所述配準(zhǔn)使用圖像特征進(jìn)行。
9.根據(jù)權(quán)利要求8所述的方法，其中所述圖像特征被自動(dòng)地獲得。
10.根據(jù)權(quán)利要求8所述的方法，其中一些圖像特征被交互地注釋或校正。
11.根據(jù)權(quán)利要求8所述的方法，還包括在配準(zhǔn)之前，從所選擇的圖像特征生成3維點(diǎn)用于所述第一圖像，并且從所述第二圖像的所選擇的圖像特征生成3維點(diǎn)用于所述第二圖像。
12.根據(jù)權(quán)利要求8所述的方法，其中所述圖像特征從在所述關(guān)心的區(qū)域中的基準(zhǔn)標(biāo)記物取得。
13.根據(jù)權(quán)利要求12所述的方法，其中所述基準(zhǔn)標(biāo)記物是被放置在受試者的所述表面下解剖部上的目標(biāo)。
14.根據(jù)權(quán)利要求13所述的方法，其中所述基準(zhǔn)標(biāo)記物是虛擬的。
15.根據(jù)權(quán)利要求12所述的方法，其中所述基準(zhǔn)標(biāo)記物是受試者的所述表面下解剖部的解剖學(xué)界標(biāo)。
16.根據(jù)權(quán)利要求1所述的方法，其中所述配準(zhǔn)是在所述第一圖像和所述第二圖像的圖像平面之間的剛性配準(zhǔn)。
17.根據(jù)權(quán)利要求1所述的方法，其中如果所述第一圖像是立體圖像并且所述第二圖像是立體圖像，那么配準(zhǔn)是以平面幾何學(xué)的方式。
18.根據(jù)權(quán)利要求1所述的方法，其中在從立體圖像創(chuàng)建的表現(xiàn)形式之間進(jìn)行可形變配準(zhǔn)。
19.根據(jù)權(quán)利要求18所述的方法，其中所述可形變配準(zhǔn)使用表面。
20.根據(jù)權(quán)利要求18所述的方法，其中所述可形變配準(zhǔn)使用體積。
21.根據(jù)權(quán)利要求1所述的方法，其中當(dāng)所述第一攝像機(jī)或所述第二攝像機(jī)的位置有變化時(shí)配準(zhǔn)被更新。
22.根據(jù)權(quán)利要求1所述的方法，其中所述第一攝像機(jī)是立體視頻攝像機(jī)，并且其中所述第二攝像機(jī)或所述第一攝像機(jī)的第二通道是近紅外成像器。
23.根據(jù)權(quán)利要求1所述的方法，其中所述配準(zhǔn)被實(shí)時(shí)地進(jìn)行。
24.根據(jù)權(quán)利要求1所述的方法，其中所述可視化在機(jī)器人手術(shù)期間進(jìn)行。
25.根據(jù)權(quán)利要求1所述的方法，其中所述可視化在微創(chuàng)手術(shù)期間進(jìn)行。
26.根據(jù)權(quán)利要求1所述的方法，其中所述可視化被用作手術(shù)中顯示。
27.根據(jù)權(quán)利要求1所述的方法，其中受試者的所述表面下解剖部是尿道。
28.一種用于被包含在可見(jiàn)表面下方的解剖結(jié)構(gòu)的可視化的集成手術(shù)系統(tǒng)，包括: 第一攝像機(jī)，其被設(shè)置為獲得關(guān)心的區(qū)域的第一圖像； 所述第一攝像機(jī)的第二通道或第二攝像機(jī)，其被設(shè)置為獲得所述關(guān)心的區(qū)域的第二圖像，所述第二攝像機(jī)和所述第一攝像機(jī)的所述第二通道能夠在紫外光譜、可見(jiàn)光譜或紅外光譜中對(duì)所述表面下方的解剖部進(jìn)行成像，所述第一圖像和所述第二圖像含有被共享的解剖結(jié)構(gòu)； 數(shù)據(jù)處理器，其被配置為用于計(jì)算所述第一攝像機(jī)對(duì)所述第二攝像機(jī)或所述第一攝像機(jī)的第二通道的配準(zhǔn)；以及 可視界面，其被設(shè)置為顯示配準(zhǔn)過(guò)的可視化。
29.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中所述配準(zhǔn)過(guò)的可視化包括所述第一圖像和所述第二圖像的融合以創(chuàng)建單個(gè)視圖。
30.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中所述配準(zhǔn)過(guò)的可視化包括分立的配準(zhǔn)過(guò)的圖像并且所述可視界面是多視圖顯示。
31.根據(jù)權(quán)利要求30所述的系統(tǒng)，其中所述多視圖顯示是畫(huà)中畫(huà)可視化。
32.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中所述配準(zhǔn)使用解剖學(xué)界標(biāo)進(jìn)行。
33.根據(jù)權(quán)利要求32所述的系統(tǒng)，其中所述解剖學(xué)界標(biāo)被交互地注釋。
34.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中所述解剖學(xué)界標(biāo)被交互地并且自動(dòng)地注釋。
35.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中所述配準(zhǔn)使用圖像特征進(jìn)行。
36.根據(jù)權(quán)利要求35所述的系統(tǒng)，其中所述圖像特征被自動(dòng)地獲得。
37.根據(jù)權(quán)利要求35所述的系統(tǒng)，其中一些圖像特征被交互地注釋或校正。
38.根據(jù)權(quán)利要求35所述的系統(tǒng)，其中在配準(zhǔn)之前，從所選擇的圖像特征生成3維點(diǎn)用于所述第一圖像，并且從所述第二圖像的所選擇的圖像特征生成3維點(diǎn)用于所述第二圖像。
39.根據(jù)權(quán)利要求35所述的系統(tǒng)，其中所述圖像特征從在所述關(guān)心的區(qū)域中的基準(zhǔn)標(biāo)記物取得。
40.根據(jù)權(quán)利要求39所述的系統(tǒng)，其中所述基準(zhǔn)標(biāo)記物是被放置在受試者的所述表面下解剖部上的目標(biāo)。
41.根據(jù)權(quán)利要求39所述的系統(tǒng)，其中所述基準(zhǔn)標(biāo)記物是虛擬的。
42.根據(jù)權(quán)利要求39所述的系統(tǒng)，其中所述基準(zhǔn)標(biāo)記物是受試者的所述表面下解剖部的解剖學(xué)界標(biāo)。
43.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中所述配準(zhǔn)是在所述第一圖像和所述第二圖像的圖像平面之間的剛性配準(zhǔn)。
44.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中如果所述第一圖像是立體圖像并且所述第二圖像是立體圖像，那么配準(zhǔn)是以平面幾何學(xué)的方式。
45.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中在從立體圖像創(chuàng)建的表現(xiàn)形式之間進(jìn)行可形變配準(zhǔn)。
46.根據(jù)權(quán)利要求45所述的系統(tǒng)，其中所述可形變配準(zhǔn)使用表面。
47.根據(jù)權(quán)利要求45所述的系統(tǒng)，其中所述可形變配準(zhǔn)使用體積。
48.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中當(dāng)所述第一攝像機(jī)或所述第二攝像機(jī)的位置有變化時(shí)所述配準(zhǔn)被更新。
49.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中所述第一攝像機(jī)是立體視頻攝像機(jī)，并且其中所述第二攝像機(jī)或所述第一攝像機(jī)的第二通道是近紅外成像器。
50.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中所述配準(zhǔn)被實(shí)時(shí)地進(jìn)行。
51.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中所述可視化在機(jī)器人手術(shù)期間進(jìn)行。
52.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中所述可視化在微創(chuàng)手術(shù)期間進(jìn)行。
53.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中所述可視化被用作手術(shù)中顯示。
54.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中受試者的所述表面下解剖部是尿道。
55.根據(jù)權(quán)利要求28所述的系統(tǒng)，還包括手術(shù)機(jī)器人。
56.根據(jù)權(quán)利要求55所述的系統(tǒng)， 還包括用于操縱所述第一攝像機(jī)和所述第二攝像機(jī)的機(jī)器人設(shè)備。
全文摘要
用于表面下解剖部的可視化的系統(tǒng)和方法，包括從第一攝像機(jī)獲得第一圖像并且從第一攝像機(jī)的第二通道或第二攝像機(jī)獲得第二圖像，其中第一圖像和第二圖像含有被共享的解剖結(jié)構(gòu)。第二攝像機(jī)和第一攝像機(jī)的第二通道能夠在紫外光譜、可見(jiàn)光譜或紅外光譜中對(duì)表面下方的解剖部進(jìn)行成像。數(shù)據(jù)處理器被配置為用于計(jì)算第一圖像到第二圖像的配準(zhǔn)，以在手術(shù)程序期間提供表面下解剖部的可視化?？梢暯缑骘@示第一圖像和第二圖像的配準(zhǔn)過(guò)的可視化。系統(tǒng)和方法特別地用于在微創(chuàng)手術(shù)例如機(jī)器人手術(shù)期間成像。
文檔編號(hào)A61B5/06GK103209656SQ201180053738
公開(kāi)日2013年7月17日 申請(qǐng)日期2011年5月5日 優(yōu)先權(quán)日2010年9月10日
發(fā)明者拉杰什·庫(kù)馬爾, 拉塞爾·H·泰勒, 提斯韋思·雷杰斯·薩瓦姆休, 布恩·米尼羅, 協(xié)·紹·阮 申請(qǐng)人:約翰霍普金斯大學(xué)