Segmentasi Contoh Semantik Sista Buah Pinggang dalam Imej MR: Pendekatan 3D Automatik Sepenuhnya Dibangunkan Melalui Pembelajaran Aktif

Adriana V. Gregory¹ et al

Abstrak

Jumlahbuah pinggangvolum (TKV) ialah biomarker pengimejan utama yang digunakan untuk memantau perkembangan penyakit dan untuk mengklasifikasikan pesakit yang terjejas oleh polikistik dominan autosomal.buah pinggangpenyakit(ADPKD) untuk ujian klinikal. Walau bagaimanapun, pesakit dengan TKV yang serupa mungkin mempunyai pembentangan dan fenotip sista yang berbeza secara drastik. Dalam usaha untuk mengukur perbezaan sista ini, kami membangunkan algoritma pembahagian sista contoh semantik 3D yang pertama untukbuah pinggangdalam imej MR. Kami telah merumuskan semula kedua-dua tugas pengesanan/penyetempatan objek dan tugas pembahagian berasaskan contoh kepada tugas pembahagian semantik. Ini membolehkan kami menyelesaikan masalah pengimejan unik ini dengan cekap, walaupun untuk pesakit yang mempunyai beribu-ribu sista. Untuk melakukan ini, rangkaian neural convolutional (CNN) telah dilatih untuk mempelajari tepi sista dan teras sista. Imej telah ditukar daripada pembahagian sista contoh kepada pembahagian teras tepi semantik dengan menggunakan pengendali morfologi hakisan 3D kepada versi sampel yang lebih tinggi bagi imej. Sista yang dikurangkan dilabelkan sebagai teras; kawasan yang terhakis diluaskan dalam 2D ​​dan dilabel sebagai tepi. Rangkaian telah dilatih pada 3{{10}} imej MR dan disahkan pada 10 imej MR menggunakan prosedur pengesahan silang empat kali ganda. Model ensemble akhir telah diuji pada 20 imej MR yang tidak dilihat semasa latihan/pengesahan awal. Keputusan daripada set ujian dibandingkan dengan segmentasi daripada dua pembaca. Model yang dibentangkan mencapai purata nilai R2 sebanyak 0.94 untuk kiraan sista, 1.00 untuk jumlah isipadu sista, 0.94 untuk indeks sista dan purata pekali Dadu sebanyak 0.85. Keputusan ini menunjukkan kemungkinan melakukan segmentasi sista secara automatik dalam pesakit ADPKD.

Kata kunciPolikistik dominan autosomalbuah pinggangpenyakit· Pengimejan resonans magnetik · Pembahagian contoh tiga dimensi · Isipadu sista · Rangkaian saraf konvolusi

Kenalan:ali.ma@wecistanche.com

Cistanche para que sirve mencegah penyakit buah pinggang, klik di sini untuk mendapatkan sampel

pengenalan

Polikistik dominan autosomalbuah pinggangpenyakit(ADPKD) ialah gangguan genetik dengan kira-kira 140,000 orang yang kini didiagnosis di Amerika Syarikat [1]. Ia dicirikan oleh perkembangan pelbagai sista dalambuah pinggang. Apabila bilangan dan saiz sista meningkat, ia mengganggubuah pinggangkeupayaan untuk menapis bahan buangan daripada darah dan sering membawa kepada penyakit buah pinggang peringkat akhir [2].

Banyak kajian telah menunjukkan jumlah itubuah pinggangvolum (TKV) ialah biomarker prognostik yang berguna dalam kombinasi dengan umur dan anggaran kadar penapisan glomerular untuk digunakan dalam ujian klinikal dan untuk meramalkan penurunan fungsi buah pinggang [3-5]. Walaupun TKV penting, terdapat lebih banyak maklumat struktur yang boleh dicirikan. Sebagai contoh, biomarker terbitan imej lain seperti nombor dan saiz sista akan memberikan gambaran lanjut mengenai status penyakit [6]. Pesakit ADPKD dengan TKV yang serupa mungkin hadir dengan berbezabuah pinggangkomposisi sista (iaitu, beberapa sista besar, banyak sista kecil, atau gabungan sista besar dan kecil). Maklumat tambahan ini berkemungkinan signifikan secara klinikal dan pada masa ini merupakan salah satu faktor yang digunakan untuk klasifikasi kumpulan pengimejan tipikal dan atipikal dalam pesakit ADPKD [7]. Selain itu, Bae et al. [8] baru-baru ini mencadangkan bahawa pengecualian sista exophytic yang menonjol boleh meningkatkan klasifikasi pesakit. Penilaian sista ini, walau bagaimanapun, selalunya dilakukan secara manual menggunakan persamaan ellipsoid untuk menganggarkan isipadu sista atau dengan kaedah separa automatik yang bergantung kepada pengguna.

Dalam beberapa tahun kebelakangan ini, pembelajaran mesin (terutamanya pembelajaran mendalam) telah berjaya dilaksanakan untuk pembahagian imej semula jadi (iaitu, imej yang diambil dengan kamera RGB) [9–11]. Hasilnya, penyelidik dalam analisis imej perubatan telah menterjemah dan membangunkan teknologi baharu untuk pembahagian beberapa organ dan tisu [12]. Dalam ADPKD, kaedah automatik sepenuhnya menggunakan rangkaian saraf dalam telah dilaksanakan untuk membahagikan polikistikbuah pinggangdalam imbasan CT dengan dan tanpa peningkatan kontras mencapai pekali Dadu sebanyak {{0}}.86 dan 0.92, masing-masing [13, 14]. Model automatik sepenuhnya juga telah dilaksanakan untuk 2-imej MR berwajaran [15, 16] yang menunjukkan hasil yang tepat (Dadu=0.97).

Pembahagian contoh, bagaimanapun, melangkah lebih jauh dan mampu membahagikan contoh kelas yang sama (cth, mengasingkan setiap tika kereta atau sel dalam imej). Mask R-CNN [17] ialah kaedah yang digunakan secara meluas untuk menjana pembahagian contoh dengan menggunakan algoritma pengesanan objek. Kebanyakan aplikasi Mask R-CNN telah menjurus kepada pembahagian imej semula jadi [18–21] dan beberapa untuk histopatologi dan imej perubatan 2D [22–26]. Untuk imej 3D, bagaimanapun, dimensi imbasan yang lebih tinggi boleh meningkatkan keperluan memori GPU dengan ketara. Hanya beberapa kajian radiologi telah melaporkan penggunaan Mask R-CNN, untuk segmentasi nodul paru-paru di dada CT [27] dan penilaian pendarahan di kepala CT [28]. Tugas pembahagian sista contoh, sebaliknya, menimbulkan cabaran yang lebih besar, bukan sahaja kerana bilangan kejadian yang lebih tinggi (sehingga ribuan sista), yang menjadikan pelaksanaannya menggunakan pendekatan pengesanan objek tidak dapat dilaksanakan tetapi juga disebabkan oleh hubungan yang sangat tinggi. /sifat berkelompok sista dalam ADPKD.

Sesetengah kajian telah melaksanakan pendekatan segmentasi yang lebih tradisional untuk menjana contoh dan segmentasi sista semantik untuk ultrasound dan pengimejan CT [29-32], dengan menggunakan kaedah berasaskan intensiti dan bentuk. Dalam pengimejan MR, dua pendekatan separa automatik telah dilaksanakan untuk melaksanakanbuah pinggangpembahagian sista. Pendekatan pertama menggunakan kaedah k-means clustering diikuti dengan analisis komponen yang disambungkan untuk menyediakan contoh segmentasi sista [33]. Pendekatan kedua menggunakan kaedah berasaskan rantau untuk mencipta peta intensiti isyarat binari untuk menjana segmentasi sista semantik [34]. Kebanyakan pendekatan ini bergantung pada maklumat intensiti yang mungkin termasuk kawasan lain yang mempunyai nilai keamatan yang sama seperti pelvis buah pinggang dan mengecualikan beberapa sista dengan intensiti isyarat yang berbeza (cth, sista hemoragik). Kaedah automatik sepenuhnya mungkin dapat mengatasi masalah ini dan menyediakan parameter kuantifikasi sista yang lebih tepat, terutamanya untuk kes yang teruk di mana segmentasi manual dan kaedah separa automatik tidak mudah dilakukan. Oleh itu, dalam kertas ini, kami mencadangkan model pembelajaran mendalam untuk pembahagian sista contoh 3D untuk mengukur jumlah isipadu sista (TCV) serta kiraan sista dan indeks sista.

Bahan dan Kaedah

Kajian pengimejan retrospektif ini telah disemak dan diluluskan oleh Lembaga Kajian Institusi kami. Pembahagian manual 3D bagi sista individu dalam imej MR daripada pesakit ADPKD adalah tugas yang sangat sukar dan memakan masa. Untuk mengurangkan proses mencipta set data standard rujukan, model awal telah dilaksanakan. Model awal telah dilatih pada 15 3imej MR D, disahkan pada 5 imej dan diuji pada 5 imej tambahan. Output dan rangka kerja model awal kemudiannya digunakan untuk model akhir yang lebih baik.

Model Permulaan: Set Data MRI

Dua puluh lima (n= 25) pesakit dengan ADPKD dan pengimejan MRI yang tersedia mewakili pelbagai peringkat perkembangan sista danbuah pinggangpembesaran telah dikenal pasti daripada Pangkalan Data Pengimejan PKD kami. Hanya imbasan tepu lemak berwajaran T{{0}}konon yang tidak menunjukkan artifak kabur dan diperoleh dengan 3-kekuatan medan T (n= 23) dan medan 1.5-T kekuatan (n= 2) telah dipilih untuk kajian ini. Memandangkan imej diambil dalam tempoh beberapa tahun, pemerolehan MR tertentu berbeza-beza, tetapi semuanya terdiri daripada saiz matriks 256 × 256 × Z (dengan FOV dan Z cukup besar untuk menampung keseluruhan buah pinggang). Saiz voxel imej median ialah 1.37 mm (julat 0.82 hingga 1.56 mm) dalam satah, dengan ketebalan hirisan median 3.0 mm (julat 3.0 hingga 9.0 mm).

TKV diperoleh dengan menggunakan automatikbuah pinggangsegmentasi [35] tersedia untuk semua kes. Imbasan telah diisih berdasarkan TKV mereka dan rawak ke dalam set latihan (n=15), pengesahan (n= 5) dan ujian (n= 5) seperti yang ditunjukkan dalam Rajah 1 mengikut berstrata pensampelan untuk memastikan pengedaran saiz buah pinggang yang sama antara set.

Model Permulaan: Piawaian Rujukan

Segmentasi Cyst: Set Ujian

Sista telah dikesan secara manual oleh dua pembaca terlatih menggunakan perisian PKD-GUI (tersedia dalam talian di https://github. com/TLKline/InstanceCystSeg) yang dibangunkan secara dalaman. Perisian ini membenarkan pengesanan tangan bebas, dan pembahagian akhir disimpan sebagai fail NIFTI yang dimampatkan. Pembaca hanya menggunakan satu label untuk mengesan semua sista tidak termasuk pelvis buah pinggang, saluran, tisu buah pinggang normal dan kawasan berintensiti tinggi yang lebih kecil daripada 4 voxel yang tidak dapat dibezakan daripada bunyi imej. Di samping itu, pembaca telah dibutakan kepada maklumat pesakit dan pengesanan pembaca lain.

Segmentasi Sista Contoh: Set Ujian

Contoh awal pembahagian sista dijana daripada pengesanan sista manual dengan menggunakan algoritma tadahan air 3D pada peta jarak Euclidean 3D berdasarkan imej MRI dan pembahagian sista (MATLAB, v.R2018b). Algoritma memberikan label berbeza kepada setiap sista dalam susunan menaik. Pembahagian sista contoh kemudiannya disemak oleh pembaca yang sama yang melakukan segmentasi sista manual dan diperbetulkan apabila perlu (iaitu, dengan membelah atau menggabungkan label) menggunakan perisian dalaman yang diterangkan sebelum ini.

Model Permulaan: Pra-pemprosesan Data

Standard Rujukan: Set Latihan dan Pengesahan

Untuk mempercepatkan proses segmentasi sista untuk set latihan dan pengesahan, algoritma segmentasi sista semantik automatik yang dibangunkan sebelum ini digunakan untuk melaksanakan segmentasi sista satu label [36]. Seterusnya, pembahagian yang terhasil melalui proses tadahan air 3D yang diterangkan dalam bahagian sebelumnya. Akhirnya, imej telah disemak oleh Pembaca 1.

Sebelum melatih model pembelajaran mendalam, topeng segmentasi ditukar kepada segmentasi semantik sebagai tepi sista dan teras sista. Tepi diperoleh dengan menolak topeng sista dengan topeng sista diluaskan 3D (menggunakan 6-elemen penstrukturan bersambung). Inti sista adalah sama dengan topeng sista. Proses penukaran dilakukan secara sista demi sista (MATLAB, v.R2018b).

Model Permulaan: Segmentasi Sista Instance Semantik

Model Pembelajaran Mendalam

Model pembelajaran mendalam adalah berdasarkan rangkaian neural U-Net [37] menggunakan modul permulaan yang serupa dengan kerja sebelumnya [36]. Input kepada model terdiri daripada 4 imej:

3 keping MR berturut-turut dan 1buah pinggangtopeng segmentasi sepadan dengan imej input MR tengah. Output model ialah imej teras tepi yang diramalkan untuk imej input tengah (Gamb. 2). Untuk hirisan MRI pertama dan terakhir peperiksaan, imej input pertama dan ketiga ialah matriks berlapis sifar.

Melatih Model

Model ini dilatih pada unit pemprosesan grafik NVidia (model: Tesla P40) menggunakan perpustakaan Keras Python dan Python 3.6.1. Bilangan zaman ditetapkan kepada 200 dengan saiz kelompok 6. Penilaian pembahagian dinilai oleh fungsi kehilangan Jaccard, dengan r ialah pembahagian rujukan, p ialah pembahagian yang diramalkan, dan N ialah bilangan voxel. Pengoptimum Adam telah digunakan dengan kadar pembelajaran=1e−3.

Model Permulaan: Pemprosesan Pasca Data

Untuk menetapkan label individu kepada setiap sista, algoritma komponen bersambung dengan 6 ketersambungan voxel jiran telah digunakan pada pembahagian teras pada output model pembelajaran mendalam.

Model Akhir: Set Data MRI

Tiga puluh lima (n=35) imej MR 3D daripada pesakit dengan ADPKD dan tersedia 1.5-T atau 3-TT2-imej tepu lemak koronal berwajaran mewakili imej yang lebih luas pelbagai peringkat perkembangan sista dan pembesaran buah pinggang yang berbeza telah ditambahkan pada set data dari model awal. Pembahagian TKV tersedia untuk semua kes. Secara keseluruhannya, 60 imej MR dengan saiz matriks 256 × 256 × Z atau 512 × 512 × Z (dengan FOV dan Z cukup besar untuk menampung keseluruhan buah pinggang) terdiri daripada set data akhir. Saiz voxel imej median ialah 1.41 mm (julat 0.8 hingga 1.88 mm) dalam satah, dengan ketebalan kepingan median 4.0 mm (julat 3.0 hingga 9.0 mm).

Imej telah diisih berdasarkan ukuran TKV mereka. Empat puluh imej MR (termasuk 25 imej dari model awal) digunakan untuk latihan dan pengesahan menggunakan teknik pengesahan silang empat kali ganda. Baki 20 imej MR digunakan untuk ujian. Rajah 3 menunjukkan taburan TKV bagi semua set.

Model Akhir: Piawaian Rujukan

Pembahagian sista contoh bagi 35 imej MR yang baru ditambah telah dijana menggunakan model awal. Dua pembaca bebas menyemak imej ujian (n= 20) dan seorang pembaca menyemak imej latihan/pengesahan (n=15). Akhirnya, kesemua 60 contoh topeng segmentasi sista dan imej MR yang sepadan telah disampelkan kepada saiz matriks 512 × 512 × 3Z dengan menggunakan interpolasi bilinear dan bikubik, masing-masing. Operasi pembukaan telah digunakan pada setiap contoh sista untuk mengekalkan pembahagian contoh yang tepat selepas pemprosesan pasca (iaitu, pelebaran selepas hakisan teras).

Pembahagian contoh telah ditukar kepada pembahagian teras tepi semantik di mana teras adalah hasil daripada kejadian sista terhakis 3D dan kelebihan diperoleh dengan menambah tepi contoh sista luar dalam dan 2D 3D. Operasi morfologi 3D dan 2D telah dilakukan masing-masing menggunakan kernel sambungan 6-voxel 3 × 3 × 3 dan kernel aktiviti 3 × 3 voxel 4-masing-masing.

Model Akhir: Pembelajaran Ensembel

Empat model diperoleh daripada set pengesahan silang empat kali ganda menggunakan seni bina U-Net yang ditunjukkan dalam Rajah 2. Tiga model dengan prestasi terbaik pada set pengesahan telah digabungkan sebagai model ensembel akhir. Output dijana oleh undian majoriti bagi tiga bahagian tepi dan teras. Gambar rajah model ensembel akhir ditunjukkan dalam Rajah 4.

Model Akhir: Pasca pemprosesan

Daripada keputusan model awal, diperhatikan bahawa, disebabkan resolusi imej yang lebih rendah pada paksi Z, beberapa teras sista disambungkan ke sista posterior/anterior. Untuk meningkatkan penukaran daripada pembahagian semantik kepada contoh dan dengan pengetahuan bahawa sista mempunyai bentuk yang serupa dengan sfera, kami mula-mula mengira peta jarak Euclidean 3D pada pembahagian teras. Kemudian, algoritma 3D Watershed telah digunakan untuk membelah mana-mana sista yang mungkin tidak dapat dipisahkan oleh pembahagian tepi. Seterusnya, dengan objektif untuk mengekalkan teras sista terutamanya terdiri daripada beberapa voxel yang mungkin hilang selepas algoritma Watershed, algoritma komponen bersambung dengan 6-kesambungan jiran terdekat telah digunakan pada perbezaan antara peta teras yang diramalkan dan 3D Keluaran tadahan air. Label pembahagian contoh komponen yang disambungkan 3D telah ditetapkan bermula dari satu ditambah dengan label terakhir daripada output Tadahan Air 3D. Kemudian, pembahagian contoh komponen yang disambungkan telah ditambahkan pada pembahagian tika aliran air. Akhir sekali, semua kejadian sista telah diluaskan dalam 3D oleh elemen penstrukturan bersambung 3 × 3 × 3 6-voxel. Langkah pasca pemprosesan terakhir ialah menurunkan sampel imej kepada bentuk asalnya.

Analisis statistik

Model awal dan ensembel dinilai dengan membandingkan segmentasi sista contoh automatik kepada segmentasi sista standard rujukan 3D. Segmen contoh telah diduakan untuk perbandingan voxel-bijak menggunakan indeks Jaccard, pekali Sorensen-Dice, ketepatan, ingatan semula, dan perubahan volum relatif mutlak. TCV, yang dikira sebagai jumlah semua voxel tersegmen didarab dengan voxel voxel, telah dinilai oleh analisis Bland-Altman dan regresi linear. Jumlah bilangan sista dinilai menggunakan regresi linear. Akhir sekali, indeks sista, ditakrifkan sebagai peratusan isipadu sista berbanding jumlah keseluruhanbuah pinggangvolum, telah dinilai oleh analisis Bland-Altman dan regresi linear. Analisis statistik telah dibuat menggunakan JMP (JMP, versi 14) dan MedCalc (Perisian Statistik MedCalc, versi 19.1.3).

Keputusan

Model Permulaan: Set Ujian 5 Kes—Segmentasi Sista

Keputusan TCV yang dikira daripada pembahagian yang dilakukan oleh Pembaca 1, Pembaca 2, dan yang diperoleh secara automatik dengan mod awal (disusun berdasarkan TKV menaik) diperhatikan dalam Jadual 1. Analisis Bland–Altman menghasilkan bias dan ketepatan − 8.9 peratus ±7.0 peratus antara Pembaca 1 dan Pembaca 2, 0.9 peratus ±32.2 peratus antara Pembaca 1 dan model awal dan 9.5 peratus ± 30.8 peratus antara Pembaca 2 dan model awal .

Model Permulaan: Set Ujian 5 Kes—Analisis Kiraan Sista

Jumlah bilangan sista ialah K1, 102, 115, 224; K2, 96, 99, 105; K3, 274, 178, 183; K4, 676, 755, 721; dan K5, 279, 177, 145 sista, masing-masing untuk Pembaca 1, 2, dan model awal. Analisis regresi linear menghasilkan R2=0.94 antara Pembaca 1 dan Pembaca 2, R2=0.82 antara Pembaca 1 dan model awal dan R2=0.96 antara Pembaca 2 dan model awal.

Potongan wakil daripada tiga kes ujian yang menunjukkan perbezaan antara Pembaca 1, Pembaca 2, dan model awal dibentangkan dalam Rajah 5. Anak panah kuning menunjuk kepada sista yang dibahagikan secara berbeza antara pembaca atau antara pembaca dan kaedah automatik. Dalam kebanyakan kes, model memberikan satu label kepada sista berkelompok. Anak panah merah menunjukkan perbezaan antara Pembaca 1 dan Pembaca 2, di mana Pembaca 1 mengecualikan keamatan terang dilihat sebagai sebahagian daripada pelvis buah pinggang tetapi Pembaca 2 mentafsir kawasan itu sebagai sista.

Model Akhir: Set Ujian Kes 20—Segmentasi Sista

Jadual 3 meringkaskan metrik persamaan antara Pembaca 1, Pembaca 2 dan model akhir untuk 20-set ujian kes. Kami mendapati bahawa metrik persamaan antara Pembaca 1 dan Pembaca 2 menunjukkan persetujuan yang lebih tinggi berbanding keputusan daripada set ujian kes 5-awal. Ini mungkin disebabkan oleh kesan berat sebelah kerana kedua-dua pembaca bermula daripada pembahagian contoh awal yang dijana oleh model awal. Tambahan pula, kami melihat prestasi yang sama antara model akhir dan kedua-dua pembaca, dengan mengambil kira bahawa set ujian termasuk pelbagai fenotip ADPKD.

Analisis Bland–Altman bagi TCV menghasilkan bias dan ketepatan 12.5 peratus ± 10.1 peratus antara Pembaca 1 dan Pembaca 2, 10.2 peratus ± 11.2 peratus antara Pembaca 1 dan model ensembel, − 2.3 peratus ± 9.9 peratus antara Pembaca 2 dan model ensembel, dan 4.3 peratus ± 9.3 peratus antara purata Pembaca 1 dengan Pembaca 2 dan model ensembel. Analisis regresi linear menghasilkan persetujuan sempurna (R2=1.00) antara Pembaca 1 dan model ensembel, Pembaca 2 dan model ensembel dan purata pembaca dengan model ensembel. Analisis regresi antara Pembaca 1 dan Pembaca 2 menunjukkan korelasi yang hampir sempurna dengan R2=0.98. Rajah 6 menunjukkan plot regresi Bland–Altman dan linear untuk TCV.

Analisis Bland–Altman bagi indeks sistik menghasilkan bias dan ketepatan 12.6 peratus ± 10.5 peratus antara Pembaca 1 dan Pembaca 2, 10.2 peratus ± 11.2 peratus antara Pembaca 1 dan model ensembel, − 2.4 peratus ± 9.8 peratus antara Pembaca 2 dan model ensembel, dan 4.3 peratus ± 9.4 peratus antara purata pembaca dan model ensembel. Korelasi indeks sista terbaik adalah antara purata kedua-dua pembaca dan model ensembel (R2=0.94). Analisis regresi linear menghasilkan R2=0.90 antara Pembaca 1 dan Pembaca 2, R2=0.92 antara Pembaca 1 dan model ensembel, R2=0.90 antara Pembaca 2 dan ensembel model. Rajah 7 menunjukkan plot regresi Bland-Altman dan linear untuk indeks sistik.

Model Akhir: Set Ujian 20 Kes—Analisis Kiraan Sista

Jumlah bilangan sista yang diperoleh daripada pembahagian sista contoh telah dianalisis dengan korelasi (Rajah 8). Pembaca 2 dan model ensembel menunjukkan korelasi paling kuat dengan R2=0.96, di mana model itu mengesan lebih banyak sista daripada Pembaca 2. Perbandingan antara Pembaca 1 dan model ensembel akhir menunjukkan persetujuan yang baik (R{{6} }.88), di mana Pembaca 2 mengenal pasti lebih banyak sista daripada model ensemble untuk kebanyakan kes. Walau bagaimanapun, kiraan purata sista antara pemerhati menunjukkan persetujuan yang sangat baik dengan kiraan sista model ensembel (R2=0.94) (Gamb. 8d). Akhir sekali, perbandingan antara Pembaca 1 dan Pembaca 2 menunjukkan persetujuan terendah dengan R2=0.83, di mana Pembaca 1 mengenal pasti lebih banyak sista daripada Pembaca 2.

Potongan wakil daripada tiga kes ujian dibentangkan dalam Rajah 9. Kita boleh melihat bahawa kaedah automatik menyediakan pembahagian contoh yang baik untuk kes ADPKD dengan sista berkelompok berbilang (yang merupakan kes yang paling mencabar untuk algoritma) dan hasilnya kelihatan secara visual pada setanding dengan segmentasi contoh daripada dua pembaca.

Akhir sekali, perbandingan antara TKV (iaitu, biomarker pengimejan utama untuk penilaian ADPKD) dan kiraan TCV dan sista ditunjukkan dalam Rajah 10. Analisis regresi linear menunjukkan bahawa 98 peratus daripada variasi dalam TCV dijelaskan oleh perkaitan linearnya dengan TKV; bagaimanapun, hanya 53 peratus daripada variasi dalam kiraan sista dijelaskan oleh perkaitan linearnya dengan TKV. Ini memberikan bukti bahawa kiraan sista boleh menawarkan maklumat fenotip tambahan di luar TKV.

Perbincangan

Dalam kajian ini, kami membentangkan pendekatan pembelajaran mendalam pertama untuk membahagikan beberapa contoh sista berkelompok dalam imej MR untuk pesakit ADPKD. Perbandingan ramalan TCV, kiraan sista dan indeks sista kepada hasil daripada dua pembaca menunjukkan bahawa pendekatan automatik boleh menghasilkan pembahagian sista contoh 3D yang tepat.

Model pembelajaran mendalam memerlukan sejumlah besar data untuk menghasilkan hasil yang terbaik. Kekurangan imej beranotasi 3D merupakan halangan utama pada permulaan kajian. 5 imej yang dibahagikan secara manual dalam set ujian awal memerlukan beberapa minggu untuk disiapkan dan sangat intensif buruh. Imej yang paling mencabar ialah imej daripada pesakit ADPKD yang maju/teruk di mana beberapa sista dikelompokkan bersama dan sempadannya tidak seperti yang ditakrifkan seperti apabila sista dikelilingi olehbuah pinggangparenkim. Bagi mengatasi halangan ini, kajian telah dibahagikan kepada dua bahagian untuk menyelesaikan masalah ini dengan pembelajaran aktif. Bahagian pertama kajian termasuk model awal yang dilatih pada set data kecil. Bahagian kedua kajian termasuk pembangunan model akhir menggunakan set data yang lebih besar, di mana piawai rujukan dimulakan oleh model awal.

Keputusan daripada kajian ini adalah setanding dengan keputusan yang diperoleh oleh Bae et al. [33], di mana beliau mencadangkan kaedah separa automatik untuk menghasilkan pembahagian sista contoh. Bias TCV yang dilaporkan menggunakan pembahagian separa automatik berbanding volum berasaskan rantau ialah − 9 peratus dengan R2=0.98 untuk kiraan sista. Dalam kajian kami, bias TCV antara pembaca dan kaedah automatik sepenuhnya ialah 10.2 peratus dan - 2.3 peratus , masing-masing dengan R2=0.94 untuk kiraan sista. Perlu dinyatakan bahawa set ujian dalam kajian kami termasuk kes dengan TCV yang lebih tinggi dan bilangan sista yang lebih besar, dan model ensemble yang dicadangkan tidak memerlukan sebarang input pengguna.

Sista dalam imej MR boleh ditunjukkan dengan keamatan yang berbeza bergantung pada komposisi sista. Kebanyakan sista dalam ADPKD adalah sista ringkas (iaitu, tidak mengandungi komponen pepejal) dan ditunjukkan sebagai kawasan hiperintens pada imej MR berwajaran T2-. Sista rumit (cth, protein, hemorrhagic, sista dijangkiti), bagaimanapun, sering dilihat sebagai kawasan hipointense [38]. Satu lagi punca perbezaan keamatan sista diperhatikan bergantung kepada kekuatan medan magnet pengimbas MR. Pengimbas tiga tesla mempunyai kekuatan medan magnet yang lebih tinggi dan memberikan SNR yang lebih tinggi, dengan itu kualiti imej dan kontras sista yang lebih baik. Untuk menyediakan pembahagian sista yang tepat, kaedah automatik diperlukan

menjadi invarian keamatan. Dengan matlamat untuk meningkatkan kebolehgeneralisasian model, model ensemble akhir telah dilatih mengenai imej yang diperoleh dengan 1.5-T dan 3-T MR pengimbas. Selain itu, kami memasukkan imej yang membentangkan sista rumit dalam pelbagai fenotip ADPKD dan imej dengan resolusi yang berbeza. Tambahan pula, kohort itu termasuk kes dengan TKV daripada jumlah yang hampir dengan jumlah biasabuah pinggang(~ 290 mL) sehingga kes mencecah hampir 10,000 mL, yang boleh merangkumi keseluruhan rangkaian TV dalam ADPKD. Dua contoh kebolehgeneralisasian model ensemble yang lebih baik berbanding model awal boleh diperhatikan dalam Rajah 11, di mana model akhir dapat mengenal pasti sista dengan intensiti yang lebih rendah.

The conversion from instance cyst segmentation to semantic edge-core segmentation for training the model is another key step, particularly for clustered cysts. The semantic edge segmentation for the initial model was generated by applying a dilation morphology operator. This approach was chosen because some cysts are present on only one slice and an erosion approach would not preserve these cysts after the conversion. The dilation method provided a good estimation of the cyst edges on the in-plane view (x and y view) but, due to the lower resolution on the Z dimension, the posterior and anterior cyst edges interfered with adjacent cysts. For the final model, we decided to generate the semantic edge segmentation applying the erosion morphology operator. To preserve all cysts, the MR images and the corresponding instance segmentations were interpolated to a size 512 × 512 × 3Z. Thus, cysts present on only one slice would be interpolated to 2 additional slices. We up-sampled the images with an in-plane matrix size of 256 × 256 to 512 × 512 because the ensemble model requires a consistent input matrix size. To account for the higher class imbalance (core class >>kelas tepi) disebabkan interpolasi, kami melakukan pelebaran 2D pada tepi. Pemeliharaan TCV dan kiraan sista yang lebih baik bagi pendekatan hakisan berbanding pendekatan pelebaran boleh diperhatikan dalam Rajah 12.

Reka bentuk model akhir termasuk ensemble pengundian tiga model berbeza. Model-model ini adalah tiga model berprestasi terbaik pada set pengesahan yang diperoleh daripada kaedah pengesahan silang empat kali ganda. Model ensembel dengan algoritma pengundian majoriti telah dilaksanakan kerana ensembel pengundian dicirikan dengan lebih stabil dan mempunyai prestasi yang lebih baik daripada model tunggal [36]. Keputusan persetujuan antara model individu, model ensemble, dan pembaca boleh didapati di bahagian bahan tambahan.

Satu batasan pengimejan MR ialah resolusi rendah untuk menunjukkan microcysts. Purata voxel voxel dalam kajian ini ialah {{0}}.0076 ± 0.0034 mL. Walau bagaimanapun, disebabkan oleh bunyi yang wujud pada imej MR (iaitu, bunyi garam dan lada), kami melaksanakan ambang saiz sista yang lebih rendah sebanyak 4 voxel (min diameter dalam satah 2.76 ± 0.48 mm) selepas pemprosesan selepas.

Pendekatan pengesanan objek untuk melaksanakan pembahagian contoh bagi kejadian bertindih dan berkelompok menjadi semakin popular disebabkan oleh prestasi tinggi mereka pada imej perubatan semula jadi dan 2D [18–26]. Walau bagaimanapun, keperluan memori GPU yang tinggi menjadikan pendekatan ini mustahil untuk dilaksanakan untuk imej 3D dengan bilangan kejadian yang banyak. Liu et al. [27] melaksanakan model berasaskan Mask R-CNN untuk pembahagian nodul paru-paru pada imej CT. Walaupun nodul paru-paru tidak hadir dalam kuantiti yang sama seperti sista dalam ADPKD, Liu et. al menggunakan strategi berasaskan tampalan untuk mengambil kira dimensi imbasan CT dan memori GPU yang terhad. Dalam usaha untuk mengurangkan kerumitan pengiraan, beberapa penyelidik telah menggunakan kaedah yang serupa dengan teorem 4 warna untuk melatih algoritma pembelajaran mendalam untuk meramalkan pembahagian contoh 2D [39]. Walaupun pendekatan ini berfungsi dengan baik untuk imej 2D, adalah tidak jelas untuk mengetahui berapa banyak warna yang diperlukan untuk imej 3D, terutamanya untuk masalah kami mengenal pasti secara automatik dan membezakan secara berasingan ratusan hingga ribuan sista. Dalam kajian ini, kami menggunakan pendekatan segmentasi contoh semantik, yang menunjukkan prestasi yang hampir sama dengan dua pembaca berpengalaman dan, walaupun, kami menggunakan operator morfologi untuk menukar imej daripada contoh kepada semantik dan semantik kepada segmentasi contoh, kami telah menunjukkan bahawa operasi ini tidak mempunyai kesan ke atas isipadu sista akhir dan jumlah bilangan sista. Pembangunan strategi pembahagian contoh pada masa hadapan mungkin mengurangkan keperluan untuk keperluan memori yang tinggi dan menghasilkan pelaksanaan pembahagian contoh sista menggunakan kaedah penyetempatan objek/berasaskan pengesanan.

Batasan kajian utama ialah kekurangan piawaian emas. Bilangan sebenar sista dan nilai TCV tidak tersedia; oleh itu, kami bergantung pada ketepatan dua pembaca imej perubatan terlatih. Satu lagi had ialah saiz kohort yang kecil, yang menghalang kami daripada menganalisis nilai klinikal biomarker pengimejan baharu ini; walau bagaimanapun, ini adalah objektif utama kami untuk kerja masa hadapan. Akhir sekali, imej hanya daripada institusi kami yang diperoleh dengan protokol pengimejan yang sama. Set data yang lebih besar dengan sampel daripada institusi dan vendor mesin yang berbeza boleh membantu menyamaratakan lagi model contoh sista. Selain itu, kerja ini boleh dilanjutkan melalui pembelajaran aktif kepada jujukan MR yang lain seperti T2-imej tepu tanpa lemak berwajaran dan imej bertimbang T1-, yang mungkin menambah maklumat morfologi sista baharu pada model. Tambahan pula, seni bina yang serupa boleh digunakan pada modaliti imej lain seperti imbasan CT.

Kesimpulan

Kami telah membangunkan kaedah automatik sepenuhnya untuk pembahagian contoh 3D sista buah pinggang dalam imej T2 MR untuk pesakit ADPKD dengan penyakit ringan, sederhana dan teruk. Kajian masa depan dengan set data yang lebih besar diperlukan untuk lebih memahami cara penanda bio tambahan ini berkaitan dengan keadaan penyakit dan prognosis pesakit.

Pengisytiharan

Konflik KepentinganPengarang mengisytiharkan tiada kepentingan bersaing.

Buka AksesArtikel ini dilesenkan di bawah Creative Commons Atribusi 4.0 Lesen Antarabangsa, yang membenarkan penggunaan, perkongsian, penyesuaian, pengedaran dan pengeluaran semula dalam sebarang medium atau format, selagi anda memberikan kredit yang sewajarnya kepada pengarang asal ) dan sumbernya, berikan pautan kepada lesen Creative Commons, dan nyatakan jika perubahan telah dibuat. Imej atau bahan pihak ketiga lain dalam artikel ini disertakan dalam lesen Creative Commons artikel itu melainkan dinyatakan sebaliknya dalam garis kredit kepada bahan tersebut. Jika bahan tidak disertakan dalam lesen Creative Commons artikel dan penggunaan anda yang dimaksudkan tidak dibenarkan oleh peraturan berkanun atau melebihi penggunaan yang dibenarkan, anda perlu mendapatkan kebenaran terus daripada pemegang hak cipta.

Rujukan

1. Willey C, Kamat S, Stellhorn R, Blais J: Analisis Data Seluruh Negara untuk Menentukan Insiden dan Diagnosis Prevalens Penyakit Ginjal Polikistik Autosomal Dominan di Amerika Syarikat: 2013–2015. Penyakit Buah Pinggang 5:107-117, 2019

2. Torres VE, Harris PC, Pirson Y: Penyakit buah pinggang polikistik dominan autosomal. The Lancet 369:1287-1301, 2007

3. Perrone RD, et al.: Jumlah isipadu buah pinggang ialah biomarker prognostik penurunan fungsi buah pinggang dan perkembangan kepada penyakit buah pinggang peringkat akhir pada pesakit dengan penyakit buah pinggang polikistik dominan autosomal. Int buah pinggang rep 2:442-450, 2017

4. Alam A, et al.: Jumlah isipadu buah pinggang dalam penyakit buah pinggang polikistik dominan autosomal: biomarker perkembangan penyakit dan keberkesanan terapeutik. Am J Kidney Dis 66:564-576, 2015

5. Tangri N, Hougen I, Alam A, Perrone R, McFarlane P, Pei Y: Jumlah isipadu buah pinggang sebagai biomarker perkembangan penyakit dalam penyakit buah pinggang polikistik dominan autosomal. Can J Kidney Health Dis 4:2054358117693355, 2017

6. Harris PC, et al.: Nombor sista tetapi bukan kadar pertumbuhan sista dikaitkan dengan gen bermutasi dalam penyakit buah pinggang polikistik dominan autosomal. J Am Soc Nephrol 17:3013-3019, 2006

7. Irazabal MV, et al.: Klasifikasi pengimejan penyakit buah pinggang polikistik dominan autosomal: model mudah untuk memilih pesakit untuk ujian klinikal. J Am Soc Nephrol 26:160-172, 2015

8. Bae KT, et al.: Klasifikasi Pengimejan Diperluaskan Penyakit Ginjal Polikistik Dominan Autosomal. J Am Soc Nephrol, 2020

9. Qi CR, Su H, Mo K, Guibas LJ: Pointnet: Pembelajaran mendalam tentang set titik untuk pengelasan dan pembahagian 3d. Proc. Dibentangkan di Mesyuarat Tahunan CVPR2017

10. Garcia-Garcia A, Orts-Escolano S, Oprea S, Villena-Martinez V, Garcia-Rodriguez J: Kajian semula tentang teknik pembelajaran mendalam yang digunakan untuk segmentasi semantik. pracetak arXiv, 2017

11. Gupta A, Vedaldi A, Zisserman A: Data sintetik untuk penyetempatan teks dalam imej semula jadi. Proc. Dibentangkan di Mesyuarat Tahunan CVPR2017

12. Litjens G, et al.: Satu tinjauan tentang pembelajaran mendalam dalam analisis imej perubatan. Dubur Imej Med 42:60-88, 2017

13. Sharma K, et al.: Segmentasi Automatik Buah Pinggang menggunakan Pembelajaran Mendalam untuk Jumlah Kuantiti Isipadu Buah Pinggang dalam Penyakit Ginjal Polikistik Dominan Autosomal. Rep Sci 7:2049, 2017

14. Turco D, Valinoti M, Martin EM, Tagliaferri C, Scolari F, Corsi C: Segmen automatik sepenuhnya bagi buah pinggang polikistik daripada tomografi yang dikira bukan kontras: Kajian kebolehlaksanaan dan

keputusan awal. Acad Radiol 25:850-855, 2018

15. Kline TL, et al.: Prestasi Rangkaian Neural Dalam Pemerhati Berbilang Buatan untuk Segmentasi Automatik Sepenuhnya Buah Pinggang Polikistik. Pengimejan Digit J 30:442-448, 2017

16. van Gastel MD, Edwards ME, Torres VE, Erickson BJ, Gansevoort RT, Kline TL: Pengukuran Automatik Isipadu Buah Pinggang dan Hati daripada MR Imej Pesakit yang Terkena Penyakit Ginjal Polikistik Autosomal Dominan. J Am Soc Nephrol 30:1514-1522, 2019

17. He K, Gkioxari G, Dollár P, Girshick R: Topeng r-cnn. Proc. Prosiding persidangan antarabangsa IEEE mengenai visi komputer

18. Prabhakar G, Kailath B, Natarajan S, Kumar R: Pengesanan dan pengelasan halangan menggunakan pembelajaran mendalam untuk menjejak dalam pemanduan autonomi berkelajuan tinggi. Proc. Simposium Wilayah 10 IEEE 2017 (TENSYMP)

19. Huang Z, Zhong Z, Sun L, Huo Q: Topeng R-CNN dengan rangkaian perhatian piramid untuk pengesanan teks adegan. Proc. Persidangan Musim Sejuk IEEE 2019 mengenai Aplikasi Penglihatan Komputer (WACV)

20. Yu Y, Zhang K, Yang L, Zhang D: Pengesanan buah untuk robot penuaian strawberi dalam persekitaran bukan struktur berdasarkan Mask-RCNN. Comput Electron Agric 163:104846, 2019