Pengecaman Tanda Lalu Lintas Berdasarkan Algoritma YOLOv3 Bahagian 3

3.3. Menghasilkan Bingkai Priori Berdasarkan Algoritma Pengelompokan K-Means

Mekanisme sauh telah dilaksanakan dalam YOLOv2, dan bilangan sauh telah ditambah kepada sembilan dalam YOLOv3 untuk menjadikan wilayah calon yang dijana lebih serupa dengan bingkai berlabel tulen dan meningkatkan penarikan semula rangkaian pengesanan.

Terdapat hubungan yang kuat antara bingkai bertanda dan ingatan. Menandai bingkai boleh membantu kami mewujudkan rangka kerja ingatan yang tetap, tetap dan teratur, menjadikannya lebih mudah untuk menghafal sejumlah besar maklumat. Sebagai contoh, semasa mempelajari bahasa, kita boleh menggunakan bingkai bertanda untuk menghafal perkataan baharu dan peraturan tatabahasa. Semasa menyemak sejarah, kita boleh menggunakan bingkai bertanda untuk menghafal peristiwa dan garis masa sejarah. Dengan cara ini, kita boleh menjadikan pengetahuan abstrak lebih konkrit dan boleh difahami.

Pada masa yang sama, penandaan bingkai juga boleh merangsang keupayaan pergaulan otak kita, dengan itu meningkatkan daya ingatan kita. Oleh kerana ingatan kita adalah berdasarkan perkaitan dan sambungan, dengan mewujudkan bingkai bertanda, kita boleh menghubungkan pengetahuan baharu dengan pengetahuan sedia ada secara lebih semula jadi, memperdalam ingatan dan pemahaman.

Keupayaan ingatan manusia boleh dilatih dan dipertingkatkan. Melalui latihan berterusan dan penggunaan teknik ingatan seperti menandakan bingkai, kita boleh meningkatkan ingatan kita dan lebih baik menangani maklumat dan tugasan yang kompleks dalam kehidupan dan kerja.

Ringkasnya, menandakan bingkai adalah teknik ingatan yang sangat berkesan. Ia boleh membantu kami mengingati maklumat penting dengan lebih cepat dan tepat. Ia juga boleh merangsang keupayaan berpersatuan dan meningkatkan daya ingatan kita. Marilah kami menggunakan bingkai bertanda secara aktif untuk meningkatkan kemahiran ingatan kami secara berterusan! Ia boleh dilihat bahawa kita perlu meningkatkan daya ingatan, dan Cistanche deserticola boleh meningkatkan daya ingatan dengan ketara kerana Cistanche deserticola adalah bahan perubatan tradisional Cina yang mempunyai banyak kesan unik, salah satunya adalah untuk meningkatkan daya ingatan. Keberkesanan daging cincang berasal dari pelbagai bahan aktif yang terkandung di dalamnya, termasuk asid, polisakarida, flavonoid, dll. Bahan-bahan ini boleh menggalakkan kesihatan otak dalam pelbagai cara.

Klik Tahu untuk meningkatkan ingatan jangka pendek

Ia tidak sesuai untuk menggunakan sauh asal, kerana tanda-tanda lalu lintas terutamanya sasaran kecil dan sederhana, dengan sasaran yang lebih kecil dalam set data TT100K. Untuk set data tertentu, memilih sauh awal yang sesuai boleh meningkatkan kesan pengesanan, menjadikan rangkaian lebih mudah dipelajari dan meningkatkan kadar pengesanan kotak sempadan.

Aliran algoritma pengelompokan K-means untuk mendapatkan kotak calon ditunjukkan dalam Rajah 7.

Dalam set data TT100K, struktur rangkaian YOLOv3 yang dipertingkatkan termasuk skala ramalan ciri, menghasilkan empat skala dan dua belas sauh: (4, 5), (5, 6), (7, 7), (7, 13), (8, 8), (9, 10), (11, 12), (13, 14), (16, 17), (20, 22), (27, 29), dan (41, 44).

4. Eksperimen dan Analisis Keputusan

4.1. Set Data dan Petunjuk Penilaian

Terdapat beberapa set data tanda lalu lintas yang besar dan tersedia secara terbuka, yang majoritinya menggunakan GTSDB, tetapi GTSDB tidak sama dengan papan tanda trafik Cina. CTSDB, CCTSDB danTT100K, antara lain, ialah set data tanda trafik Cina.

CCTSDB telah diperluaskan berdasarkan CTSDB, dan kategorinya dibahagikan kepada tanda amaran, tanda arah, dan tanda larangan, tanpa pengelasan terperinci tanda lalu lintas.

Koleksi trafficsign TT100K dicipta dengan kerjasama antara Tencent dan Universiti Tsinghua. Ia menawarkan pengkategorian menyeluruh dan pengenalpastian tanda lalu lintas, meliputi pelbagai keadaan iklim dan pencahayaan, dan lebih tepat untuk situasi pemanduan sebenar.

Oleh itu, set data tanda trafik TT100K telah digunakan dalam kertas ini, dan beberapa tanda lalu lintas dan maklumat kategori ditunjukkan dalam Rajah 8.

Set data TT100K mempunyai 100,000 foto dengan resolusi 2048 x 2048 piksel, walaupun terdapat imej tanda trafik yang tidak berlabel dan sesetengah kategori hanya mempunyai beberapa imej atau imej pendua, mengurangkan kesan pengesanan.

Oleh itu, kertas kerja ini mengalih keluar imej tanda trafik yang tidak berlabel dan pendua daripada set data dan memilih 45 kategori dengan bilangan tanda lalu lintas yang tinggi, di mana 45 kategori tanda trafik adalah: pn, pne, i5, pll, pl40, po,pl50, pl80 , io, pl60, p26, i4, pll00, pl30, il60, l5, i2, w57, p5, p10, ip, pl120, il80, p23, pr40.ph4. 5, w59, p12, p3, w55. pm20, pl20, pg, pl70, pm55, il100, p27, w13, p19, ph4, ph5, wo, p6.pm30, dan w32, dan bilangan setiap kategori tanda lalu lintas ditunjukkan dalam Rajah 9.

Rajah 9 menunjukkan bahawa walaupun 45 kategori dengan sejumlah besar tanda lalu lintas telah dipilih, masih terdapat ketidakseimbangan yang ketara dalam jumlah data antara setiap kategori, mengakibatkan ketepatan ramalan model yang lemah. Akibatnya, seperti yang digambarkan dalam Rajah 10, kerja ini mengimbangi dan mengembangkan set data dengan menggunakan taktik seperti pengasingan warna, hingar Gaussian dan putaran imej untuk memastikan bahawa jumlah setiap kategori adalah sama seperti yang boleh dilakukan.

Pendekatan Mozek membaca empat imej pada satu masa, menskala dan mengubah gamut warna setiap imej, menyusunnya dalam empat arah dan kemudian mencantumkan imej bersama untuk mencipta bingkai sebenar sasaran.

Kaedah peningkatan mencantum empat imej, bersamaan dengan mengira parameter empat imej dengan satu input. Ini boleh mengurangkan bilangan imej untuk input kelompok, mengurangkan kesukaran latihan dan kos latihan, meningkatkan kelajuan latihan, dan sebahagian besarnya memperkayakan bilangan sampel dalam set data, yang kondusif untuk pembelajaran.

dalam kertas kerja ini, metrik penilaian set data COCO, termasuk mAPou - 050AP, APM, AP dan beberapa metrik lain, telah digunakan untuk menilai prestasi model. Khususnya, kebanyakan tanda trafik dalam set data tanda trafik TT100K adalah milik sasaran kecil, jadi perhatian khusus perlu diberikan kepada ketepatan pengesanan sasaran kecil. Maksud khusus metrik penilaian adalah seperti berikut:

AP: Kawasan di bawah keluk PR, di mana PR ialah ketepatan dan ingatan, masing-masing:

API {{0}}.50: Apabila ambang IoU ditetapkan kepada 0.50, ia ialah purata semua kategori AP dalam set data, yang merupakan indeks penilaian set data PASCAL VOC dan sepadan kepada APIoU=0.50 dalam COCO evaluation indexmAPloU= 0.50: Apabila ambang loU ditetapkan kepada 0.50, ia ialah purata semua kategori AP dalam set data, iaitu indeks penilaian bagi set data PASCAL VOC dan sepadan dengan APloU=0.5 dalam indeks penilaian COCO.

AP: nilai purata mAP untuk objek kecil: kawasan < 322, dan julat loU=(0.5, 1.00, 0.05)secara keseluruhan daripada 10 oUs.

APm: objek sederhana: 322 < kawasan < 962, dan julat loU=(0.5, 1.00, 0.05) nilai min bagi mAP untuk sejumlah 10 IoU.

AP: nilai purata mAP untuk objek besar: kawasan > 962, dan julat loU=(0.5, 1.00, 0.05untuk sejumlah 10 IoUs.

4.2. Keputusan dan Analisis Eksperimen

4.2.1. Eksperimen Perbandingan YOLOv3 yang Diperbaiki

Tiga rangkaian YOLOv3 dengan kaedah yang dipertingkatkan telah dibandingkan dan diuji dalam kajian ini, menggunakan set data tanda trafik TT100K dan imej input yang bersaiz 608 × 608 piksel. Rajah 11 memaparkan peta dan AR M-YOLOv3 yang dilatih pada set data TT100.

Keputusan pengesanan untuk pelbagai saiz sasaran ditunjukkan dalam Rajah 12 dan Jadual 1. Antaranya, YOLOv3-DK mengguna pakai strategi untuk menambah baik fungsi kehilangan DIoU loss and the re-clustering anchor; YOLOv3-SPP mengguna pakai strategi ruang gabungan struktur pyramidpooling; YOLOv3-4l menggunakan strategi menambah lapisan ciri ramalan keempat dengan skala 152 × 152; dan M-YOLOv3 ialah struktur rangkaian YOLOv3 menggunakan semua strategi yang dipertingkatkan.

Jadual 1 dan Rajah 12 menunjukkan bahawa purata ketepatan min YOLOv3 asal tanpa menggunakan sebarang strategi ialah 68.9%. Sebaliknya, peta YOLOv3 yang dinaik taraf dengan semua kaedah ialah 77.3%, peningkatan sebanyak 8.4% dalam pengesanan.

Fungsi kehilangan DIoU dan teknik penambat pengelompokan semula meningkatkan ketepatan pengesanan sebanyak 1.3%; Walau bagaimanapun, penambahbaikan adalah disebabkan penumpuan fungsi kehilangan yang lebih cepat semasa latihan, yang menjadikan regresi kotak sasaran lebih stabil dan meningkatkan kadar panggil balik. Penambahbaikan yang lebih ketara dalam mAP dilihat dalam YOLOv3, yang termasuk struktur SPP dan mencapai 73.2%.

Struktur SPP menggabungkan ciri tempatan dan global, meningkatkan keupayaan peta ciri untuk menyatakan dirinya dan meningkatkan ketepatan pengesanan dengan ketara. Menggunakan kaedah menambah lapisan ciri ramalan keempat dengan skala 152 × 152, themAP juga telah dipertingkatkan dengan ketara.

Ketepatan pengesanan sasaran kecil dipertingkatkan sebanyak 10.5% jika dibandingkan dengan YOLOv3, yang menggunakan sepenuhnya ciri cetek dalam rangkaian tersebut untuk ramalan sasaran kecil, menghasilkan kesan pengesanan yang lebih baik, tetapi dengan kos peningkatan kerumitan dan pemprosesan rangkaian . Peningkatan terbaik ialah M-YOLOv3, yang menggabungkan tiga prosedur penambahbaikan dan mencapai peta 77.3%, iaitu 8.4% lebih tinggi daripada purata ketepatan purata YOLOv30 yang asal. Rajah 13menggambarkan keputusan ujian M-YOLOv3 pada TT100K.

4.2.2. Perbandingan Algoritma YOLOv3 yang Diperbaiki dengan Algoritma Lain

M-YOLOv3 telah dibandingkan dengan beberapa algoritma pengesanan sasaran klasik yang lain untuk mengesahkan lagi pengecaman pengesanan rangkaian yang dipertingkatkan, dan hasilnya ditunjukkan dalam Jadual 2.

Jadual 2 menunjukkan bahawa M-YOLOv3 mempunyai peta tertinggi sebanyak 77.3%, dan SSD mempunyai prestasi masa nyata terbaik, dengan FPS sebanyak 42. Berbanding dengan algoritma YOLOv3 asal, purata ketepatan purata telah bertambah baik, walaupun masa nyata prestasi dikurangkan. Berbanding dengan SSD algoritma satu peringkat, mAP bertambah baik sebanyak 12%, tetapi masih terdapat jurang dalam prestasi masa nyata. Berbanding dengan goritma pengesanan sasaran dua peringkat Faster-RCNN, FPS dipertingkatkan kepada 22, dan mAP juga dipertingkatkan sebanyak 1.7%, yang meningkatkan kelajuan pengesanan, serta ketepatan pengesanan. Percubaan menunjukkan bahawa M-YOLOv3 berprestasi lebih baik dari segi ketepatan dan kelajuan pengesanan.

4.2.3. Peningkatan Kesan Pengiktirafan YOLOv3 pada Papan Tanda Lalu Lintas dalam Persekitaran Khas

Disebabkan oleh pelbagai faktor, seperti penyinaran cahaya yang kuat, waktu malam dan persekitaran khas penyumbatan tanda lalu lintas, yang akan menjejaskan pengesanan dan pengecaman tanda trafik dalam senario pemanduan dunia sebenar, adalah perlu juga untuk mempertimbangkan kesan pengecaman model pada tanda lalu lintas dalam persekitaran khas. Dalam keadaan tertentu, model YOLOv3 yang dinaik taraf digunakan untuk mengenali tanda lalu lintas, seperti yang ditunjukkan dalam Rajah 13.

Dalam Rajah 14, kesan pengesanan YOLOv3 dibandingkan dengan kesan M-YOLOv3 dalam persekitaran khas. Seperti yang ditunjukkan dalam Rajah 14(b1,c1), algoritma YOLOv3 gagal mengesan tanda lalu lintas yang dikaburkan dalam kes tanda lalu lintas yang dikaburkan, manakala algoritma YOLOv3 yang dipertingkatkan dengan tepat mengenal pasti tanda lalu lintas yang tidak jelas; seperti yang ditunjukkan dalam Rajah 14(b2,c2), algoritma YOLOv3 mempunyai masalah pengesanan palsu dan pengesanan terlepas untuk pengecaman tanda trafik di bawah persekitaran penyinaran cahaya yang kuat, manakala algoritma YOLOv3 yang dipertingkatkan mengiktiraf semua tanda lalu lintas dengan tepat.

Algoritma YOLOv3 yang dipertingkatkan meningkatkan skala ramalan ciri keempat untuk sasaran kecil, meningkatkan kesan pengesanan sasaran kecil, manakala algoritma YOLOv3 mempunyai masalah dengan pengesanan terlepas dan keyakinan rendah untuk sasaran kecil, seperti ditunjukkan dalam Rajah 14(b3,c3); dalam persekitaran yang malap, seperti pada waktu malam, algoritma YOLOv3 yang dinaik taraf mengiktiraf tanda lalu lintas, seperti yang digambarkan dalam Rajah 14(b4,c4); namun kaedah YOLOv3 tidak mengesan sasaran. Hasilnya, dalam situasi tertentu, algoritma YOLOv3 yang dikemas kini masih menghasilkan hasil pengesanan yang lebih baik.

5. Kesimpulan

Rangkaian pengesanan dan pengecaman tanda trafik berdasarkan YOLOv3 yang diubah suai telah dicadangkan dalam penyelidikan ini, untuk menangani kesukaran sasaran kecil yang sukar dikesan dan ketepatan pengesanan rendah dalam tugas pengesanan dan pengecaman tanda trafik.

Struktur pengumpulan piramid spatial baharu membolehkan gabungan ciri tempatan dan global dalam kajian ini, serta meningkatkan skala ramalan ciri keempat untuk sasaran kecil untuk meningkatkan kesan pengesanan sasaran kecil. Untuk menjadikan regresi rangka sasaran lebih stabil, kehilangan DIoU telah digunakan, yang mempunyai penumpuan lebih cepat dan lebih konsisten dengan regresi rangka sasaran.

Ketepatan rangkaian pengesanan telah dipertingkatkan dengan ketara dengan merosakkan rangkaian masa nyata sesedikit mungkin. MAP meningkat sebanyak 8.4 mata. Algoritma YOLOv3 yang dipertingkatkan meningkatkan kerumitan rangkaian dan merendahkan kelajuan pengesanan. Walau bagaimanapun, pengesanan masa nyata masih jauh; oleh itu, bidang penyelidikan seterusnya akan meningkatkan kelajuan pengesanan untuk mencapai kesan pengesanan masa nyata.

Sumbangan Pengarang: Metodologi dan penyediaan draf asal penulisan, AL dan CG; analisis formal dan penyiasatan, YS; penyusunan data, NX; sumber, AL; pengesahan, WH Semua pengarang telah membaca dan bersetuju dengan versi manuskrip yang diterbitkan.

Pembiayaan: Projek ini disokong oleh Program Sains dan Teknologi Inovasi Belia Pendidikan Tinggi Wilayah Shandong (Geran No.2019KJB019), Yayasan Sains Semula Jadi Wilayah Shandong China (Geran No. ZR2021MF131, ZR2015EL019, dan ZR2020ME126), dan Yayasan Sains Semula Jadi Kebangsaan China (No. Geran 61601265 dan 51505258). Projek ini dibiayai oleh China Postdoctoral Science Foundation (Geran No. 2021M701405), Projek Terbuka Makmal Utama Negeri bagi Tingkah Laku Mekanikal dan Keselamatan Sistem Struktur Kejuruteraan Lalu Lintas, China (Geran No. 1903), Projek Terbuka Keselamatan dan Kawalan Lalu Lintas Hebei Makmal Utama, China(No. Geran JTKY2019002), dan Projek Inovasi Sains dan Teknologi Utama di Wilayah Shandong (No. Geran 2022CXGC020706).

Penyata Lembaga Semakan Institusi: Tidak berkenaan.

Kenyataan Persetujuan Termaklum: Tidak berkenaan.

Pernyataan Ketersediaan Data: Tidak berkenaan.

Penghargaan: Kami mengucapkan terima kasih kepada semua pengarang atas sumbangan mereka dalam penulisan artikel ini.

Konflik Kepentingan: Pengarang mengisytiharkan tiada konflik kepentingan.

Rujukan

1. De la Escalera, A.; Armingol, JM; Mata, M. Pengiktirafan tanda lalu lintas dan analisis untuk kenderaan pintar. Imej Vis. Pengiraan. 2003,21, 247–258. [CrossRef]

2. Saadna, Y.; Behloul, A. Gambaran keseluruhan kaedah pengesanan dan pengelasan tanda lalu lintas. Int. J. Multimed. Maklumat. Retr. 2017, 6,193–210. [CrossRef]

3. Boumediene, M.; Cudel, C.; Basset, M.; Ouamri, A. Pengesanan tanda trafik segi tiga berdasarkan algoritma RSLD. Mach. Vis. Appl.2013, 24, 1721–1732. [CrossRef]

4. Maldonado-Bascón, S.; Lafuente-Arroyo, S.; Gil-Jimenez, P.; Gomez-Moreno, H.; Lopez-Ferreras, F. Pengesanan tanda jalan dan pengecaman berdasarkan mesin vektor sokongan. IEEE Trans. Intell. Transp. Syst. 2007, 8, 264–278. [CrossRef]

5. Bahlmann, C.; Zhu, Y.; Ramesh, V.; Pellkofer, M.; Koehler, T. Sistem untuk pengesanan, pengesanan, dan pengecaman tanda lalu lintas menggunakan maklumat warna, bentuk dan gerakan. Dalam Prosiding Prosiding IEEE. Simposium Kenderaan Pintar, 2005, Las Vegas,NV, Amerika Syarikat, 6–8 Jun 2005; ms 255–260.

6. Ren, S.; Beliau, K.; Girshick, R.; Sun, J. Faster R-CNN: Ke Arah Pengesanan Objek Masa Nyata dengan Rangkaian Cadangan Wilayah.Adv. Maklumat Neural. Proses. Syst. 2015, 28, 91–99. [CrossRef] [PubMed]

7. Liu, W.; Anguelov, D.; Erhan, D.; Szegedy, C.; Reed, S.; Fu, C.-Y.; Berg, AC SSD: Pengesan MultiBox Pukulan Tunggal. Dalam Persidangan Eropah mengenai Penglihatan Komputer; Springer: Cham, Switzerland, 2016; ms 21–37.

8. Redmon, J.; Divvala, S.; Girshick, R.; Farhadi, A. Anda hanya melihat sekali sahaja: Pengesanan objek masa nyata bersatu. Dalam Prosiding Persidangan IEEE mengenai Penglihatan Komputer dan Pengecaman Corak, Las Vegas, NV, Amerika Syarikat, 27–30 Jun 2016; IEEE: Piscataway, NJ, Amerika Syarikat,2016; ms 779–788.

9. Wang, Z.; Guo, H. Penyelidikan mengenai pengesanan tanda lalu lintas berdasarkan rangkaian saraf konvolusi. Dalam Prosiding Simposium Antarabangsa ke-12 mengenai Komunikasi dan Interaksi Maklumat Visual, Shanghai, China, 20–22 September 2019; ms 1–5.

10. Han, C.; Gao, G.; Zhang, Y. Pengesanan tanda trafik kecil masa nyata dengan RCNN yang lebih pantas disemak. Multimedia. Alatan Appl. 2019, 78,13263–13278. [CrossRef]

11. Zhang, J.; Huang, M.; Jin, X.; Li, X. Algoritma pengesanan tanda trafik Cina masa nyata berdasarkan YOLOv2 yang diubah suai. Algoritma2017, 10, 127. [CrossRef]

12. Zhu, Z.; Liang, D.; Zhang, S.; Huang, X.; Li, B.; Hu, S. Pengesanan tanda lalu lintas dan pengelasan di alam liar. Dalam Prosiding Persidangan IEEE mengenai Visi Komputer dan Pengecaman Corak 2016, Las Vegas, NV, Amerika Syarikat, 27–30 Jun 2016; ms 2110–2118.

For more information:1950477648nn@gmail.com