Pengesanan Tidak Normal dalam Video Data Besar Dengan Autoenkoder yang Diperbaiki

1. Pengenalan

Sebagai tugas penglihatan komputer peringkat tinggi, pengesanan anomali video merujuk kepada pengesanan automatik kejadian tidak normal dalam urutan video tertentu, yang boleh membezakan secara berkesan aktiviti abnormal dan normal serta kategori abnormal dalam video. Dalam beberapa tahun kebelakangan ini, penyelidik telah menjalankan banyak penyelidikan berkaitan pengesanan anomali [1-9]. Berbanding dengan kejadian biasa, kejadian yang jarang berlaku atau mempunyai kebarangkalian yang rendah untuk berlaku biasanya dianggap sebagai yang tidak normal. Walau bagaimanapun, dalam amalan, adalah sukar untuk mewujudkan model pengesanan anomali yang berkesan disebabkan oleh jenis peristiwa yang tidak diketahui dan takrifan anomali yang tidak jelas. Kebanyakan kaedah pengesanan anomali sedia ada direka bentuk berdasarkan andaian bahawa sebarang corak yang berbeza daripada corak normal yang dipelajari dianggap sebagai anomali. Berdasarkan andaian sedemikian, aktiviti yang sama dalam senario yang berbeza mungkin diwakili sebagai peristiwa biasa atau tidak normal. Sebagai contoh, adegan pergaduhan di mana dua orang bergaduh di jalanan mungkin dianggap tidak normal, manakala dua orang itu normal apabila mereka bertinju. Selain itu, terdapat sejumlah besar maklumat visual berlebihan dalam data video berdimensi tinggi, yang meningkatkan kesukaran perwakilan acara dalam jujukan video.

cistanche herba cina

Menurut kerja-kerja terdahulu, kaedah pengesanan anomali secara amnya boleh dibahagikan kepada dua jenis. Beberapa kaedah pengesanan anomali direka bentuk melalui ralat pembinaan semula, yang menumpukan pada pemodelan corak biasa dalam jujukan video [3–5, 7, 8, 10, 11]. (kaedah ini mempelajari model perwakilan ciri corak normal dalam fasa latihan dan menggunakan perbezaan antara sampel tidak normal dan normal untuk menentukan skor abnormal akhir data ujian semasa fasa ujian, seperti ralat pembinaan semula atau ambang tertentu [7 –14]. Walaupun kaedah pengesanan anomali berasaskan pembinaan semula bagus untuk membina semula corak biasa dalam jujukan video, masalah utama kaedah ini ialah ia sangat bergantung pada data latihan. Jenis kaedah lain menganggap pengesanan anomali sebagai masalah klasifikasi [ 15, 16]. Bagi kaedah ini, skor anomali jujukan video diramalkan dengan menggunakan pengelas terlatih untuk mengekstrak ciri seperti histogram sesama optik (HOF) atau tekstur dinamik (DT). (e prestasi kaedah ini ialah sangat bergantung kepada sampel latihan.Untuk mendapatkan prestasi yang memuaskan, mengekstrak ciri yang berkesan dan diskriminatif adalah penting untuk kaedah pengesanan anomali tersebut [17-20]. Walau bagaimanapun, kedua-dua jenis kaedah biasanya memodelkan hubungan antara peristiwa dengan cara yang agak mudah [7, 10, 21–23]. Sebagai contoh, hanya perhubungan linear yang dipertimbangkan, yang tidak mencukupi untuk perhubungan yang kompleks dan sangat tidak linear dalam banyak kes dunia sebenar.

cistanche hidup padang pasir

Dalam tahun-tahun kebelakangan ini, kaedah berdasarkan pembelajaran mendalam telah digunakan dalam bidang pengesanan video dan membuat kemajuan yang besar [24-26]. Contohnya, pengekod auto (AE) menggunakan ralat pembinaan semula untuk mengesan anomali, dan satu siri kaedah telah dipertingkatkan atas dasar ini. Selain itu, rangkaian musuh generatif (GAN) dan ingatan jangka pendek panjang (LSTM) juga telah digunakan untuk menyelesaikan masalah pengesanan anomali. Walau bagaimanapun, AE mungkin mempunyai keupayaan generalisasi yang kuat, mengakibatkan keupayaan untuk membina semula kejadian tidak normal. Dalam [14], para penyelidik menegaskan bahawa kerana tidak ada sampel latihan yang tidak normal, pembinaan semula sampel yang tidak normal seharusnya tidak dapat diramalkan, yang mungkin membawa kepada ralat pembinaan semula yang lebih besar untuk sampel yang tidak normal. Jika sesetengah anomali berkongsi corak gubahan biasa dengan data latihan biasa atau penyahkod "terlalu kuat" dan tidak dapat menyahkod beberapa kod anomali dengan baik, maka AE boleh membina semula anomali dengan baik. Untuk mengatasi kelemahan AE, kertas kerja ini menggunakan modul memori untuk meningkatkan AE dalam dan membangunkan kaedah AE (Memory AE) yang ditambah memori. Apabila sampel ujian baharu dimasukkan, Memory AE tidak akan terus mengekodnya dan memasukkannya ke dalam penyahkod tetapi menggunakannya sebagai pertanyaan untuk mendapatkan semula kandungan yang berkaitan dalam modul memori. (ms, kandungan diagregatkan dan dihantar ke dalam penyahkod. (adalah proses direalisasikan dengan menangani perhatian. Tambahan pula, kertas kerja ini menggunakan operator pengecutan yang boleh dibezakan untuk mendorong kesederhanaan pemberat menangani memori, yang boleh menggalakkan kandungan memori untuk mendekati pertanyaan dalam ciri ruang. Semasa fasa latihan, pengekod dan penyahkod mengemas kini modul memori pada masa yang sama untuk mendapatkan ralat pembinaan semula purata yang lebih rendah. Dalam fasa ujian, kandungan memori yang dipelajari ditetapkan, dan sejumlah kecil item memori biasa akan digunakan untuk pembinaan semula. Jika ini dipilih sebagai kejiranan kod input, ralat pembinaan semula akan menjadi sangat jelas. Eksperimen pada beberapa set data penanda aras awam menunjukkan bahawa prestasi pengesanan Memory AE telah mencapai tahap terkini.

Konstituen Kimia Utama Cistanche deserticola

2. Prinsip Algoritma

Rajah 1 menunjukkan struktur rangkaian keseluruhan Memory AE, yang dibahagikan kepada tiga substruktur: pengekod (digunakan untuk input pengekodan dan menjana pertanyaan), penyahkod (digunakan untuk pembinaan semula), dan modul memori (dengan memori dan operasi pengalamatan yang berkaitan). Seperti yang ditunjukkan dalam Rajah 1, memandangkan peristiwa yang akan diuji, pengekod terlebih dahulu memperoleh nilai berkodnya. Dengan menggunakan nilai berkod sebagai pertanyaan, modul memori mendapatkan semula kandungan paling relevan dalam modul memori melalui pengendali pengalamatan berasaskan perhatian dan kemudian menghantarnya kepada penyahkod untuk pembinaan semula. Semasa latihan, pengekod dan penyahkod mengoptimumkan parameter untuk meminimumkan ralat pembinaan semula dan, pada masa yang sama, mengemas kini modul memori untuk merekodkan elemen prototaip data biasa yang dikodkan. Memandangkan sampel ujian, model hanya menggunakan corak biasa terhad yang direkodkan dalam modul memori untuk melakukan pembinaan semula. Dengan cara ini, pembinaan semula cenderung hampir kepada sampel biasa. Oleh itu, ralat pembinaan semula sampel normal adalah kecil, dan ralat abnormal adalah besar.

Rajah 1: (e carta alir memori AE yang dicadangkan.

2.1. Pengekod dan Penyahkod. (e pengekod dan penyahkod ialah dua bahagian AE. (e bekas memetakan data input ke ruang ciri untuk mendapatkan nilai berkodnya, dan yang terakhir membina semula nilai berkod ke dalam data input. (e AE terdiri daripada pengekod fw1 (·) dan penyahkod gw2 (·), yang boleh dinyatakan sebagai

di mana x dan x′ ialah input AE dan input yang dibina semula, masing-masing, z ialah hasil pengekodan bagi x, dan W1 dan W2 menandakan parameter pengekod dan penyahkod, yang boleh diperolehi dengan meminimumkan ralat pembinaan semula antara x dan x':

Dengan membina semula ralat sampel biasa [19, 20] untuk menentukan sama ada ia tidak normal, AE telah berjaya digunakan untuk menyelesaikan tugas pengesanan abnormal. Walau bagaimanapun, pembinaan semula sampel tidak normal seharusnya tidak dapat diramalkan, yang boleh mengakibatkan ralat pembinaan semula yang lebih besar untuk sampel tidak normal. Untuk menyelesaikan masalah ini, modul memori diperkenalkan kepada AE dalam Bahagian 2.2, dan AE Memori dicadangkan.

2.2. Modul Memori. (e kaedah yang dicadangkan termasuk modul memori untuk merekodkan mod pengekodan prototaip dan operasi pengalamatan untuk mengakses modul memori.

2.2.1. Perwakilan Berasaskan Perhatian. (Modul perhatian direka bentuk sebagai matriks M ∈ RN×C yang mengandungi N vektor masa nyata. Untuk kesederhanaan, anggap bahawa C ialah dimensi z; maka, biarkan Ζ � RC. Diberi vektor baris mi, ∀i ∈ [ N], di mana [N] ialah integer dari 1 hingga N. Setiap satu mewakili mi item memori; diberikan set pertanyaan z ∈ RC, rangkaian memori memperoleh? z dan membalas dengan vektor alamat lembut w ∈ R1×N sebagai ikut:

dengan w ialah vektor baris, dan jumlah semua item ialah 1, yang mewakili wi, item w i. (vektor berat w boleh diperoleh dengan pengiraan z. Seperti yang ditunjukkan dalam persamaan (4), berat alamat perlu hampir w dengan modul memori. (e parameter campuran ditakrifkan sebagai N, kapasiti maksimum modul memori. Walaupun ia adalah N, bukan mudah untuk mencari yang terbaik untuk set data yang berbeza; mujurlah, Memory AE tidak sensitif kepada tetapan N. Cukuplah, N besar boleh digunakan dengan baik pada setiap set data.

2.2.2. Perhatian untuk Pengalamatan Memori. Dalam Memory AE, modul memori direka bentuk untuk merakam secara terperinci mod biasa asal M fasa latihan. (Modul memori e ditakrifkan sebagai memori boleh alamat kandungan, z⌢ , dan skema pengalamatannya mengira w, berat perhatian, berdasarkan persamaan antara pertanyaan dan item memori. Seperti yang ditunjukkan dalam Rajah 1, setiap berat boleh dikira melalui operasi softmax wi :

dengan d(·, ·) mewakili ukuran persamaan. (adakah kertas mentakrifkannya sebagai persamaan kosinus:

Sama seperti persamaan (4)–(6), modul memori mendapatkan semula item memori yang paling serupa untuk mendapatkan perwakilan z. Disebabkan oleh had saiz memori dan teknologi pengalamatan yang jarang, hanya sebilangan kecil item memori dalaman boleh ditangani pada satu-satu masa. (oleh itu, tingkah laku berkesan modul memori boleh dijelaskan seperti berikut. Dalam fasa latihan, penyahkod dalam Memory AE dihadkan kepada menggunakan sangat sedikit item ingatan boleh berpakaian iklan untuk pembinaan semula, yang memerlukan penggunaan item memori yang berkesan. (oleh itu , semasa pembinaan semula, modul memori perlu dipaksa untuk merekodkan mod prototaip yang paling mewakili dalam mod biasa input. Dalam fasa ujian, memandangkan memori terlatih, hanya mod biasa dalam memori boleh diambil untuk pembinaan semula. (oleh itu , sampel biasa boleh dibina semula dengan lebih baik. Sebaliknya, nilai berkod bagi input abnormal boleh digantikan dengan corak normal yang diperoleh semula, mengakibatkan ralat pembinaan semula yang besar dalam sampel tidak normal.

2.3. Latihan. Diberi set data yang mengandungi sampel xi? ?TI�1, biarkan xi′ menandakan sampel pembinaan semula xi dalam sampel latihan; pemfaktoran semula minimum dilakukan seperti berikut:

(e l2 norma digunakan untuk mengukur ralat pembinaan semula; wi′ mewakili memori menangani berat setiap sampel xi. Untuk menggalakkan lagi keterlanjuran w′, penyelarasan jarang diminimumkan semasa latihan. Memandangkan semua w′ adalah bukan negatif dan ‖w′‖1 � 1, masalah pengoptimuman dibentuk seperti berikut:

Dengan menggabungkan fungsi kehilangan persamaan (7) dan persamaan (8), fungsi objektif Memory AE adalah seperti berikut:

inilah hiperparameter dalam proses latihan. Dalam amalan, ditetapkan kepada 0.0002. Dalam proses latihan, ingatan dikemas kini melalui perambatan belakang dan keturunan kecerunan. Dalam perambatan belakang, hanya kecerunan item memori dengan bukan sifar berat menangani boleh menjadi bukan sifar.

2.4. Ujian. Selepas model dilatih, ralat pembinaan semula piksel pada kedudukan (x, y) bingkai gigi t boleh dikira dengan persamaan berikut:

di mana h(·) mewakili keseluruhan model. Memandangkan ralat pembinaan semula aras piksel bagi bingkai kesepuluh, ralat pembinaan semula keseluruhan bingkai imej boleh diperoleh dengan menjumlahkan e(t) � . (x,y)e(x, y, t). (ms, skor anomali bingkai boleh dikira seperti berikut:

Akhir sekali, ambang boleh ditetapkan untuk menentukan sama ada ia tidak normal sebagai s(t) > θ.

3. Eksperimen

Dalam bahagian ini, keberkesanan kaedah yang dicadangkan disahkan dan dibandingkan dengan kaedah sedia ada yang lain. Pada masa ini, dua set data awam digunakan untuk eksperimen, iaitu set data Avenue dan set data ShanghaiTech. (e kawasan aras bingkai di bawah lengkung (AUC) dan EER digunakan sebagai penunjuk penilaian kuantitatif.

3.1. Persediaan. (e dataset Avenue menggunakan kamera tetap dengan resolusi 640 × 360 piksel untuk menangkap dan merakam aktiviti jalanan City University of Hong Kong. (e dataset Computational Intelligence and Neuroscience 3 termasuk 16 klip video latihan yang mengandungi tingkah laku manusia biasa dan 21 klip video ujian yang mengandungi peristiwa luar biasa dan tingkah laku manusia. Ia mempunyai sejumlah 30652 bingkai, dan semua video ujian mempunyai anotasi peringkat sasaran, iaitu, kawasan segi empat tepat digunakan untuk menandakan anomali di lokasi spatial. Tingkah laku biasa ialah orang berjalan di atas kaki lima, manakala kejadian luar biasa ialah orang membuang sampah/membuang barang, merayau, berjalan ke arah kamera, berjalan di atas rumput dan membuang objek. (e dataset ShanghaiTech ialah koleksi yang sangat mencabar untuk pengesanan peristiwa tidak normal. Tidak seperti set data lain, ia mengandungi 13 set data berbeza adegan dengan keadaan pencahayaan dan sudut kamera yang berbeza, termasuk sejumlah 330 video latihan dan 107 video ujian. (set ujian mengandungi sejumlah 130 peristiwa tidak normal dengan anotasi tahap piksel. (seluruh set data mempunyai sejumlah 316154 bingkai, termasuk 274515 bingkai dalam set latihan, 42883 bingkai dalam set ujian dan 17090 bingkai dalam bingkai tidak normal. (e resolusi setiap bingkai video ialah 480 × 856. (e model ialah diuji pada platform dengan platform perkakasan NVIDIA GTX1080TI dan memori video 8 GB, dan persekitaran perisian adalah PyTorch dan Python 3.6. Untuk mengukur keberkesanan kaedah pengesanan anomali video yang dicadangkan dalam kertas ini, AUC peringkat bingkai lengkung ciri pengendalian penerima (ROC) digunakan sebagai indeks penilaian. Untuk penunjuk penilaian peringkat bingkai, jika sekurang-kurangnya satu piksel bingkai ditandakan sebagai tidak normal, bingkai itu dianggap tidak normal. Dan tahap bingkai AUC dikira dengan membandingkan hasil pengesanan aras bingkai dengan aras bingkai label sebenar.

Konstituen Kimia Utama Cistanche deserticola

Klik di sini untuk melihat produk Cistanche

【Minta lebih lanjut】 E-mel:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

3.2. Persediaan eksperimen. Semua bingkai video dilaraskan kepada 227 × 227 dan kemudian ditukar kepada imej skala kelabu. (e input model ialah 227 × 227 × 5, iaitu, 5 bingkai berturut-turut digunakan sebagai input model. Selepas setiap lapisan konvolusi, terdapat lapisan normalisasi kelompok dan lapisan ex-citation ReLU. (e penyahkod termasuk 4 lapisan penyahkonvolusi. (modul perhatian ditetapkan untuk membenarkan setiap segmen memori merekodkan ciri pada piksel dalam peta ciri, sepadan dengan subrantau segmen video. (oleh itu, modul memori ialah 10 00 × 64 matriks. (e Pengoptimum Adam dipilih untuk pengoptimuman keseluruhan parameter model. (e kadar pembelajaran awal ialah 0.0001, dan bilangan lelaran ialah 1000. (e parameter momentum ialah ρ1 � 0.9 dan ρ2 � 0.999, dan saiz kelompok ialah 128.

3.3. Keputusan Eksperimen. Bagi membuktikan keberkesanan kaedah yang dicadangkan dalam pengesanan anomali video, kertas kerja ini membandingkannya dengan 12 kaedah sedia ada yang berbeza. Antaranya, MPPCA (penganalisis komponen utama kebarangkalian) ditambah SF (kuasa sosial) [17] dan MDT (hibrid tekstur dinamik) [18] adalah kaedah berdasarkan ciri manual; Penukaran-AE [8], Penukaran 3D [19], RNN Bertindan [20] dan ConvLSTM-AE [21], MemNormality [10] dan ClusterAE [22] adalah semua kaedah berdasarkan pengekod auto; AbnormalGAN [7] dan Pred plus Recon [23] adalah berdasarkan penjanaan kaedah rangkaian lawan. Jadual 1 menunjukkan hasil pengesanan anomali video peringkat bingkai bagi pelbagai kaedah. Dapat diperhatikan bahawa, dalam keputusan dua set data, kaedah berdasarkan AE biasanya lebih baik daripada kaedah berdasarkan ciri buatan tangan, dan AUC tahap bingkai yang lebih tinggi diperolehi. (adalah kerana ciri buatan tangan biasanya diekstrak berdasarkan tugas lain, dan oleh itu mungkin tidak optimum. Dalam kaedah berasaskan AE, ConvLSTM-AE adalah lebih baik daripada Conv-AE kerana yang pertama boleh menangkap maklumat masa dengan lebih baik. Selain itu, ia juga boleh ambil perhatian bahawa kaedah berdasarkan GAN berprestasi lebih baik daripada kebanyakan kaedah asas. Akhir sekali, kaedah Memory AE yang dicadangkan dalam kertas kerja ini mencapai 85.7 peratus AUC peringkat bingkai pada set data Avenue, iaitu 0.6 peratus lebih awal daripada Pred plus Recon yang berprestasi terbaik. [23] kaedah; manakala kaedah yang dicadangkan dalam kertas ini mencapai 75.3 peratus AUC peringkat bingkai pada set data ShanghaiTech, iaitu 2 peratus mendahului kaedah lain dalam AUC peringkat bingkai, dan kesannya sangat jelas. (terutamanya kerana kaedah yang dicadangkan berdasarkan Memory AE menggunakan serpihan memori, yang boleh membina semula anomali dengan baik dan memperkenalkan beberapa ralat rawak. Selain itu, berbanding dengan dataset Avenue, dataset ShanghaiTech telah mencapai AUC peringkat bingkai yang lebih tinggi. (terutamanya kerana dataset ShanghaiTech mengandungi berbilang adegan dan peristiwa luar biasa yang tidak muncul dalam set data lain sebelum ini, yang lebih rumit. Untuk mengesahkan hasil pengesanan satu adegan pada set data ShanghaiTech, segmen video satu adegan digunakan untuk latihan dan ujian. 83 segmen (25 peratus ) digunakan untuk latihan dan 34 segmen (32 peratus ) digunakan untuk ujian, mencapai 86.3 peratus AUC peringkat bingkai, yang telah mencapai tahap yang serupa dengan set data Avenue. Secara ringkasnya, kaedah Memory AE yang dicadangkan boleh digunakan secara fleksibel pada jenis data yang berbeza. Hanya dengan menggunakan ralat pembinaan semula, kaedah yang dicadangkan boleh memperoleh hasil yang lebih baik dengan pengetahuan yang paling sedikit. Untuk menilai prestasi modul memori yang dipratentukan dalam mengesan peristiwa video yang tidak normal, langkah seterusnya ialah menukar saiz modul memori dan melakukan eksperimen pada dataset Avenue, dan nilai AUC tahap bingkai diberikan dalam Jadual 2. Ia boleh didapati bahawa dengan saiz modul memori yang cukup besar, kaedah Memory AE boleh menghasilkan keputusan terbaik dengan mantap. Apabila saiz modul memori lebih besar daripada 1000, impak pada hasil pengesanan adalah kecil, tetapi penggunaan saiz modul memori yang lebih besar akan menghasilkan jumlah pengiraan yang lebih besar, jadi saiz modul memori dipilih sebagai 1000. Angka 2(a) dan 2(b), masing-masing, menunjukkan beberapa hasil pengesanan dalam dataset Avenue dan dataset ShanghaiTech. (e Jadual 1: Perbandingan dengan kaedah terkini dari segi AUC.

lebih baik daripada kaedah berdasarkan ciri buatan tangan, dan AUC tahap bingkai yang lebih tinggi diperolehi. (adalah kerana ciri buatan tangan biasanya diekstrak berdasarkan tugas lain, dan oleh itu mungkin tidak optimum. Dalam kaedah berasaskan AE, ConvLSTM-AE adalah lebih baik daripada Conv-AE kerana yang pertama boleh menangkap maklumat masa dengan lebih baik. Selain itu, ia juga boleh ambil perhatian bahawa kaedah berdasarkan GAN berprestasi lebih baik daripada kebanyakan kaedah asas. Akhir sekali, kaedah Memory AE yang dicadangkan dalam kertas kerja ini mencapai 85.7 peratus AUC peringkat bingkai pada set data Avenue, iaitu 0.6 peratus mendahului kaedah Pred plus Recon [23] berprestasi terbaik; manakala kaedah yang dicadangkan dalam kertas kerja ini mencapai 75.3 peratus AUC peringkat bingkai pada set data ShanghaiTech, iaitu 2 peratus lebih awal daripada kaedah lain dalam AUC peringkat bingkai, dan kesannya sangat jelas. . (terutamanya kerana kaedah yang dicadangkan berdasarkan Memory AE menggunakan serpihan memori, yang boleh membina semula anomali dengan baik dan memperkenalkan beberapa ralat rawak. Di samping itu, berbanding dengan dataset Avenue, dataset ShanghaiTech telah mencapai AUC peringkat bingkai yang lebih tinggi. (adalah terutamanya kerana set data ShanghaiTech mengandungi berbilang adegan dan peristiwa luar biasa yang tidak muncul dalam set data lain sebelum ini, yang lebih rumit. Untuk mengesahkan hasil pengesanan satu adegan pada set data ShanghaiTech, segmen video satu adegan digunakan untuk latihan dan ujian. 83 segmen (25 peratus ) digunakan untuk latihan dan 34 segmen (32 peratus ) digunakan untuk ujian, mencapai 86.3 peratus AUC peringkat bingkai, yang telah mencapai tahap yang serupa dengan set data Avenue. Secara ringkasnya, kaedah Memory AE yang dicadangkan boleh digunakan secara fleksibel pada jenis data yang berbeza. Hanya dengan menggunakan ralat pembinaan semula, kaedah yang dicadangkan boleh memperoleh hasil yang lebih baik dengan pengetahuan yang paling sedikit. Untuk menilai prestasi modul memori yang dipratentukan dalam mengesan peristiwa video yang tidak normal, langkah seterusnya ialah menukar saiz modul memori dan melakukan eksperimen pada dataset Avenue, dan nilai AUC tahap bingkai diberikan dalam Jadual 2. Ia boleh didapati bahawa dengan saiz modul memori yang cukup besar, kaedah Memory AE boleh menghasilkan keputusan terbaik dengan mantap. Apabila saiz modul memori lebih besar daripada 1000, impak pada hasil pengesanan adalah kecil, tetapi penggunaan saiz modul memori yang lebih besar akan menghasilkan jumlah pengiraan yang lebih besar, jadi saiz modul memori dipilih sebagai 1000. Angka 2(a) dan 2(b), masing-masing, menunjukkan beberapa hasil pengesanan dalam dataset Avenue dan dataset ShanghaiTech. (bingkai dalam kotak hijau ialah bingkai biasa daripada klip video biasa, dan bingkai dalam kotak merah ialah bingkai yang tidak normal daripada klip video yang tidak normal. Beberapa kejadian tidak normal seperti menjatuhkan konfeti, menunggang basikal di kaki lima, dipukul, dsb., boleh dikesan.

Jadual 2: (e pengaruh bilangan saiz memori pada keputusan percubaan dataset Avenue (AUC/peratus peringkat bingkai).

Rajah 2: Contoh hasil pengesanan. (a) Contoh daripada dataset Avenue. (b) Contoh daripada set data ShanghaiTech.

4. Kesimpulan

(adalah kertas mencadangkan Memory AE untuk meningkatkan prestasi pengesanan anomali data besar dalam video. Memandangkan input, kaedah Memory AE yang dicadangkan mula-mula menggunakan pengekod untuk mendapatkan perwakilan berkod dan kemudian menggunakan kod sebagai pertanyaan untuk mendapatkan semula yang paling berkaitan corak dalam modul memori untuk pembinaan semula. Memandangkan modul memori dilatih untuk merekodkan corak biasa biasa, AE Memori yang dicadangkan boleh membina semula sampel normal dengan baik dan membesarkan ralat pembinaan semula keabnormalan, yang menguatkan peranan ralat pembinaan semula sebagai standard pengesanan keabnormalan. Eksperimen ke atas dua set data membuktikan kepelbagaian dan keberkesanan kaedah yang dicadangkan. Pada masa hadapan, kami akan mengkaji penggunaan pemberat menangani untuk pengesanan anomali. Memandangkan modul memori yang dicadangkan adalah universal dan tiada kaitan dengan struktur pengekod dan penyahkod, ia akan disepadukan ke dalam model asas yang lebih kompleks dan digunakan dalam eksperimen pada set data yang lebih mencabar.

Suplemen cistanche berhampiran saya-Meningkatkan Ingatan

Rujukan

[1] F. Dong, Y. Zhang, dan X. Nie, "Rangkaian adversarial generatif diskriminator dwi untuk pengesanan anomali video," Akses IEEE, vol. 8, hlm. 88170–88176, 2020.

[2] K. Doshi dan Y. Yilmaz, "Pengesanan anomali berurutan sebarang tangkapan dalam video pengawasan," dalam Proceedings of the CVPRW, ms 934-935, Seattle, WA, USA, Jun 2020.

[3] K. Doshi dan Y. Yilmaz, "Pembelajaran berterusan untuk pengesanan anomali dalam video pengawasan," dalam Proceedings of the CVPRW, ms 254-255, Seattle, WA, USA, Jun 2020.

[4] K. Jayanta, "Dutta and bonny Banerjee. Pengesanan dalam talian kejadian luar biasa menggunakan panjang pengekodan tambahan," dalam Proceedings of the AAAI, ms. 3755–3761, Austin, Texas, USA, Januari 2015.

[5] Y. Feng, Y. Yuan, dan X. Lu, "Mempelajari model acara mendalam untuk pengesanan anomali orang ramai," Neurocomputing, vol. 219, hlm. 548–556, 2017.

[6] D. Gong, L. Liu, V. Le et al., "Menghafal kenormalan untuk mengesan anomali: pengekod auto mendalam yang ditambah memori untuk pengesanan anomali tanpa pengawasan," dalam Proceedings of the ICCV, ms 1705–1714, Seoul, Korea, Oktober 2019.

[7] M. Ravanbakhsh, M. Nabi, E. Sangineto, L. Marcenaro, C. Regazzoni, dan N. Sebe, "Pengesanan peristiwa tidak normal dalam video menggunakan jaring musuh generatif," dalam Prosiding Persidangan Antarabangsa IEEE mengenai Pemprosesan Imej , hlm. 1577–1581, Beijing, China, September 2017.

[8] M. Hasan, J. Choi, J. Neumann, AK Roy-Chowdhury, dan LS Davis, "Mempelajari ketetapan temporal dalam urutan video," dalam Prosiding Persidangan IEEE mengenai Penglihatan Komputer dan Pengecaman Corak, ms 733– 742, Las Vegas, NV, Amerika Syarikat, Jun 2016.

[9] W. Liu, W. Luo, D. Lian, dan S. Gao, "Ramalan bingkai masa depan untuk pengesanan anomali–garis dasar baharu," dalam Prosiding Persidangan IEEE mengenai Penglihatan Komputer dan Pengecaman Corak, ms. 6536– 6545, Salt Lake City, UT, Amerika Syarikat, Jun 2018.

[10] H. Park, J. Noh, dan B. Ham, "Belajar kenormalan berpandukan memori untuk pengesanan anomali," dalam Prosiding Persidangan IEEE mengenai Penglihatan Komputer dan Pengecaman Corak, ms 14 372–{{ 3}}, Seattle, WA, Amerika Syarikat, Jun 2020.

[11] MZ Zaheer, J.-h. Lee, M. Astrid, dan S.-I. Lee, "Lama adalah emas: mentakrifkan semula paradigma latihan pengelas satu kelas yang dipelajari secara berlawanan," dalam Prosiding Persidangan IEEE mengenai Visi Komputer dan Pengecaman Corak, ms. 14 183–214 193, Seattle, WA, Amerika Syarikat, Jun 2020.

[12] X. Zhu, J. Liu, J. Wang, Y. Fang, dan H. Lu, "Pengesanan anomali dalam adegan sesak melalui penampilan dan pemodelan bersama dinamik," dalam Prosiding Persidangan Antarabangsa IEEE mengenai Pemprosesan Imej, hlm. 2705–2708, Melbourne, VIC, Australia, September 2013.

[13] RVHM Colque, CAC J´unior, dan WR Schwartz, "Histogram orientasi sesama optik dan magnitud untuk mengesan peristiwa anomali dalam video," dalam Prosiding Persidangan Sibgrapi mengenai Grafik, Corak dan Imej, ms. 126–133 , Salvador, Bahia, Brazil, Ogos 2015.

[14] Bo Zong, S. Qi, RM Martin, et al., "Model campuran Gaussian autoencoding mendalam untuk pengesanan anomali tanpa pengawasan," dalam Prosiding Persidangan Antarabangsa mengenai Perwakilan Pembelajaran, Vancouver, Kanada, April 2018.

[15] M. Sabokrou, M. Fayyaz, M. Fathy, Z. Moayed, dan R. Klette, "Deep-anomali: rangkaian neural convolutional sepenuhnya untuk pengesanan anomali pantas dalam adegan sesak," Computer Vision and Image Understanding, vol. 172, ms. 88–97, 2018.

[16] C. Li, Z. Han, Q. Ye, dan J. Jiao, "Pengesanan tingkah laku abnormal visual berdasarkan analisis pembinaan semula jarang trajektori," Neurocomputing, vol. 119, tidak. 7, hlm. 94–100, 2013.

[17] V. Mahadevan, W. Li, V. Bhalodia, dan N. Vasconcelos, "Pengesanan anomali dalam adegan sesak," dalam Prosiding Persidangan IEEE mengenai Visi Komputer dan Pengecaman Corak (CVPR), ms 1975–1981, IEEE, San Francisco, CA, Amerika Syarikat, Jun 2010.

[18] W. Li, V. Mahadevan, dan N. Vasconcelos, "Pengesanan anomali dan penyetempatan dalam adegan sesak," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 36, ms 18–32, 2014.

[19] Y. Zhao, B. Deng, C. Shen, Y. Liu, H. Lu, dan X.-S. Hua, "Spatio-Temporal AutoEncoder untuk pengesanan anomali video," dalam Proceedings of the ACM International Conference on Multimedia (ACM MM), ms. 1933–1941, ACM, Mountain View California USA, Oktober 2017.

[20] W. Luo, L. Wen, dan S. Gao, "Tinjauan semula pengesanan anomali berasaskan pengekodan jarang dalam rangka kerja RNN bertindan," dalam Prosiding Persidangan Antarabangsa IEEE mengenai Penglihatan Komputer (ICCV), Venice, Itali, Oktober 2017.

[21] W. Luo, L. Wen, dan S. Gao, "Mengingat sejarah dengan LSTM konvolusi untuk pengesanan anomali," dalam Prosiding Persidangan Antarabangsa IEEE mengenai Multimedia dan Ekspo (ICME), ms 439–444, IEEE, Hong Kong, Julai 2017.

[22] Y. Chang, Z. Tu, W. Xie, dan J. Yuan, "Pengekod auto dalam terdorong pengelompokan untuk pengesanan anomali video," dalam Prosiding Persidangan Eropah mengenai Visi Komputer (ECCV), ms 329–345, Springer, Glasgow, United Kingdom, Ogos 2020.

[23] L. Wen, W. Luo, D. Lian, dan S. Gao, "Ramalan bingkai masa depan untuk pengesanan anomali – garis dasar baharu," dalam Prosiding Persidangan IEEE mengenai Penglihatan Komputer dan Pengecaman Corak (CVPR), pp 6536–6545, IEEE, Salt Lake City, UT, Amerika Syarikat, Jun 2018.

[24] M. Song, "Pandangan medan min bagi landskap rangkaian saraf dua lapisan," Prosiding Akademi Sains Kebangsaan, vol. 115, no. 33, hlm. E7665–E7671, 2018.

[25] B. Ding dan G. Wen, "Kekangan Sparsity pengelas subruang terdekat untuk pengecaman sasaran imej SAR," Jurnal Komunikasi Visual dan Perwakilan Imej, vol. 52, hlm. 170–176, 2018.

[26] T. Wang dan H. Snoussi, "Pengesanan kejadian visual yang tidak normal melalui histogram orientasi rakan optik global," Transaksi IEEE mengenai Forensik dan Keselamatan Maklumat, vol. 9, tidak. 6, hlm. 988–998, 2014.