Çox hissəli yeni başlayanlar üçün asan başa düşülən bələdçidə obyekt aşkarlanması ilə bağlı bu qabaqcıl kompüter görmə tapşırığının əsaslarını öyrənin.
Hal-hazırda zolaq, kor nöqtələr, yol siqnalları və s. üçün ən son sürücüyə kömək texnologiyaları ilə avtomobil idarə etmək olduqca yaygındır. Pərdə arxasında baş verənləri qiymətləndirmək üçün bir dəqiqə geriyə addım atsaq, içimizdəki Data Scientist tezliklə sistemin sadəcə olmadığını anlayacaq. təsnifat obyektlər həm də yerləşdirmə onları səhnədə (real vaxtda).
Bu cür qabiliyyətlər bunun bariz nümunəsidir obyekt aşkarlanması sistem fəaliyyətdədir. Sürücüyə yardım texnologiyaları, sənaye robotları və təhlükəsizlik sistemləri maraq obyektlərini aşkar etmək üçün obyekt aşkarlama modellərindən istifadə edir. Obyekt aşkarlanması hər ikisini əhatə edən qabaqcıl kompüter görmə tapşırığıdır lokalizasiya [of objects] eləcə də təsnifat.
Bu yazıda biz obyekt aşkarlama tapşırığının təfərrüatlarına daha dərindən girəcəyik. Biz yeni arxitekturaları anlamağa kömək etmək üçün onunla əlaqəli müxtəlif anlayışlar haqqında öyrənəcəyik (sonrakı məqalələrdə əhatə olunacaq). Transfer Öyrənmə nöqteyi-nəzərindən obyekt aşkarlama modellərini başa düşmək üçün tələb olunan əsas aspektləri və konsepsiyaları əhatə edəcəyik.
Əsas Konsepsiyalar və Tikinti Blokları
Obyektin aşkarlanması iki əsas alt vəzifədən ibarətdir: lokalizasiya və təsnifat. Müəyyən edilmiş obyektlərin təsnifatını başa düşmək asandır. Bəs biz obyektlərin lokalizasiyasını necə müəyyənləşdirə bilərik? Bəzi əsas anlayışları əhatə edək:
Məhdudlaşdırıcı qutular
Obyektin aşkarlanması vəzifəsi üçün biz düzbucaqlı qutudan istifadə edərək verilmiş obyektin yerini müəyyənləşdiririk. Bu adi qutu a kimi adlanır məhdudlaşdırıcı qutu və obyektlərin lokallaşdırılması üçün istifadə olunur. Tipik olaraq, giriş şəklinin yuxarı sol küncü mənşə və ya (0,0) kimi təyin olunur. Düzbucaqlı sərhəd qutusu yuxarı sol və aşağı sağ təpələr üçün x və y koordinatlarının köməyi ilə müəyyən edilir. Bunu vizual olaraq anlayaq. Şəkil 1(a) yuxarı sol küncdə mənşəyi təyin edilmiş nümunə şəklini təsvir edir.
Şəkil 1(b) müəyyən edilmiş obyektlərin hər birini müvafiq sərhəd qutuları ilə göstərir. Qeyd etmək vacibdir ki, məhdudlaşdırıcı qutu şəklin mənşəyinə nisbətən yuxarı sol və aşağı sağ koordinatları ilə qeyd olunur. 4 dəyərlə biz bir məhdudlaşdırıcı qutunu unikal şəkildə müəyyən edə bilərik. Məhdudlaşdırıcı qutunu müəyyən etmək üçün alternativ üsul onun eni və hündürlüyü dəyərləri ilə birlikdə yuxarı sol koordinatlardan istifadə etməkdir. Şəkil 1(c) məhdudlaşdırıcı qutunun müəyyənləşdirilməsinin bu alternativ yolunu göstərir. Fərqli həllər müxtəlif üsullardan istifadə edə bilər və bu, əsasən birinin digərinə üstünlük verməsi məsələsidir.
Obyekt aşkarlama modelləri sinif etiketindən başqa hər bir təlim nümunəsi üçün hər bir obyekt üçün məhdudlaşdırıcı qutu koordinatlarını tələb edir. Eynilə, bir obyekt aşkarlama modeli yaradır məhdudlaşdırıcı qutunun koordinatları ilə birlikdə sinif etiketləri nəticə çıxarma mərhələsində müəyyən edilmiş obyektə görə.
Çapa qutuları
Hər bir obyekt aşkarlama modeli istənilən təsvir üçün obyektləri müəyyən etmək/yerləşdirmək üçün çoxlu sayda mümkün bölgələri skan edir. Təlim zamanı model skan edilmiş bölgələrdən hansının maraq doğurduğunu müəyyən etməyi öyrənir və bu bölgələrin koordinatlarını yer həqiqətini məhdudlaşdıran qutulara uyğunlaşdırmaq üçün tənzimləyir. Fərqli modellər bu maraq bölgələrini fərqli şəkildə yarada bilər. Yenə də ən populyar və geniş istifadə olunan üsula əsaslanır anker qutuları. Verilmiş şəkildəki hər piksel üçün müxtəlif ölçülü və aspekt nisbətlərində (enin hündürlüyə nisbəti) çoxlu məhdudlaşdırıcı qutular yaradılır. Bu məhdudlaşdırıcı qutular lövbər qutuları adlanır. Şəkil 2, verilmiş şəkildəki xüsusi piksel üçün müxtəlif anker qutularını göstərir.
Anker qutusunun ölçüləri iki parametrdən istifadə etməklə idarə olunur, miqyası s 𝜖 (0,1]kimi işarələnir və aspekt nisbəti r>0 kimi qeyd olunur. Şəkil 2-də göstərildiyi kimi, hündürlüyü və eni h ⨉ w təsviri və s və r-nin xüsusi qiymətləri üçün çoxlu anker qutuları yaradıla bilər. Bir qayda olaraq, anker qutularının ölçülərini əldə etmək üçün aşağıdakı düsturlardan istifadə edirik:
wₐ=ws√r
hₐ=hs / √r
Harada wₐ və hₐ müvafiq olaraq lövbər qutusunun eni və hündürlüyüdür. Anker qutularının sayı və ölçüləri ya əvvəlcədən müəyyən edilir, ya da təlimin özü zamanı model tərəfindən seçilir. Hər şeyi perspektivə çevirmək üçün model hər piksel üçün bir neçə lövbər qutusu yaradır və təlim davam etdikcə onları tənzimləməyi/uyğunlaşdırmağı öyrənir.
Məhdudlaşdırıcı qutular və lövbər qutuları ümumi obyekt aşkarlama tapşırığını başa düşmək üçün əsas anlayışlardır. Bu cür arxitekturaların necə işlədiyinin xüsusiyyətlərinə keçməzdən əvvəl gəlin əvvəlcə bu cür modellərin performansını necə qiymətləndirdiyimizi anlayaq. Aşağıdakılar istifadə olunan mühüm qiymətləndirmə ölçülərindən bəziləridir:
Birlik üzərində kəsişmə (IOU)
Obyekt aşkarlama modeli adətən bir sıra lövbər qutuları yaradır və sonra onlar yerin həqiqətini məhdudlaşdıran qutuya uyğunlaşdırılır. Bəs matçın nə vaxt baş verdiyini və ya matçın nə dərəcədə yaxşı olduğunu necə bilək?
Jaccard İndeksi iki çoxluq arasındakı oxşarlığı təyin etmək üçün istifadə olunan ölçüdür. Obyekt aşkar edildikdə, Jaccard İndeksi həm də Birlik üzərində kəsişmə və ya IOU olaraq adlandırılır. Bu kimi verilir:
IOU=| Bₜ ∩ Bₚ | / | Bₜ ∪ Bₚ |
Burada Bₜ əsas həqiqəti məhdudlaşdıran qutu və Bₚ proqnozlaşdırılan məhdudlaşdırıcı qutudur. Sadə dillə desək, bu, proqnozlaşdırılan və əsas həqiqəti məhdudlaşdıran qutu arasında üst-üstə düşmə sahəsinin və birləşmə sahəsinin nisbəti kimi təyin olunan 0 ilə 1 arasındakı xaldır. Üst-üstə düşmə nə qədər yüksək olsa, xal bir o qədər yaxşıdır. 1-ə yaxın hesab mükəmməl uyğunluğu göstərir. Şəkil 3 nümunə görüntü üçün proqnozlaşdırılan və yerüstü həqiqəti məhdudlaşdıran qutular arasında üst-üstə düşmələrin müxtəlif ssenarilərini nümayiş etdirir.
Problem ifadəsindən və verilənlər dəstinin mürəkkəbliyindən asılı olaraq, hansı proqnozlaşdırılan məhdudlaşdırıcı qutuların nəzərə alınacağını müəyyən etmək üçün IOU üçün müxtəlif həddlər təyin edilir. Məsələn, obyektin aşkarlanması probleminə əsaslanır MS-COCO proqnozlaşdırılan məhdudlaşdırıcı qutunu həqiqi müsbət hesab etmək üçün 0,5 IOU həddindən istifadə edir.
Orta Orta Dəqiqlik (MAP)
Dəqiqlik və Geri Çağırış maşın öyrənməsi kontekstində təsnifatçıların performansını başa düşmək üçün istifadə olunan tipik ölçülərdir. Aşağıdakı düsturlar bu göstəriciləri müəyyənləşdirir:
Dəqiqlik=TP / (TP + FP)
Geri çağırma=TP/ (TP + FN)
Harada, TP, FP və FN üçün dayanmaq Doğru Müsbət, Yalan Müsbət və Yalan mənfi müvafiq olaraq nəticələr. Dəqiqlik və Geri Çağırış adətən performansın möhkəm kəmiyyətini əldə etmək üçün Dəqiq-Geri Çağırış Əyrisini yaratmaq üçün birlikdə istifadə olunur. Bu, dəqiqlik və geri çağırmanın əks xarakterinə görə tələb olunur, yəni modelin geri çağırılması artdıqca onun dəqiqliyi azalmağa başlayır. PR əyriləri hesablamaq üçün istifadə olunur F1 hesabı, Əyri altındakı sahə (AUC) və ya orta dəqiqlik (AP) ölçülər. Orta Dəqiqlik geri çağırma üçün müxtəlif hədd dəyərlərində orta dəqiqlik kimi hesablanır. Şəkil 4(a) tipik PR əyrisini göstərir və şəkil 4(b) AP-nin necə hesablandığını göstərir.
Şəkil 4(c) orta dəqiqlik metrikasının obyekt aşkarlama tapşırığına necə genişləndirildiyini təsvir edir. Göstərildiyi kimi, IOU-nun müxtəlif hədlərində PR-əyrisini hesablayırıq (bu, hər bir sinif üçün edilir). Sonra son mAP metrikasını əldə etmək üçün bütün orta dəqiqlik dəyərləri (hər sinif üçün) üzrə orta götürürük. Bu birləşdirilmiş metrik müəyyən bir modelin performansının etibarlı kəmiyyət göstəricisidir. Performansı yalnız bir ölçülə bilən metrikaya endirməklə, eyni test verilənlər bazasında fərqli modelləri müqayisə etmək asanlaşır.
Obyekt aşkarlama modellərini müqayisə etmək üçün istifadə olunan başqa bir metrikdir saniyədə kadr (FPS). Bu metrik modelin saniyədə obyektlər üçün təhlil edə biləcəyi daxil edilmiş şəkillərin və ya çərçivələrin sayına işarə edir. Bu, təhlükəsizlik video nəzarəti, üz aşkarlanması və s. kimi real vaxt istifadə halları üçün vacib bir metrikdir.
Bu anlayışlarla təchiz olunmuş, biz indi obyekt aşkarlanması üçün ümumi çərçivəni başa düşməyə hazırıq.
Obyekt aşkarlama çərçivəsi
Obyektin aşkarlanması mühüm və aktiv tədqiqat sahəsidir. Bu illər ərzində bir sıra fərqli, lakin effektiv arxitekturalar hazırlanmış və real dünya şəraitində istifadə edilmişdir. Obyekt aşkarlama vəzifəsi bütün bu cür arxitekturalardan alt tapşırıqların siyahısını həll etməyi tələb edir. Xüsusi modellərin onları necə idarə etməsinin təfərrüatlarına keçməzdən əvvəl obyektin aşkarlanması ilə mübarizə aparmaq üçün ümumi çərçivə haqqında anlayışı inkişaf etdirək. Ümumi çərçivə aşağıdakı addımlardan ibarətdir:
- Region Təklif Şəbəkəsi
- Lokallaşdırma və Sinif Proqnozları
- Çıxış Optimizasiyası
İndi bu addımların hər birini bir qədər ətraflı nəzərdən keçirək.
Regional Təklif
Adından da göründüyü kimi, obyekt aşkarlama çərçivəsindəki ilk və əsas addım təklif etməkdir maraq bölgələri (ROI). ROI-lər, modelin obyektin mövcud olma ehtimalının yüksək olduğuna inandığı giriş təsvirinin bölgələridir. Obyektin mövcudluğu və ya olmaması ehtimalı obyektivlik balı adlanan baldan istifadə etməklə müəyyən edilir. Obyektivlik balı müəyyən hədddən yuxarı olan bölgələr növbəti mərhələyə keçir, digərləri isə rədd edilir.
Məsələn, model tərəfindən təklif olunan müxtəlif ROI-lər üçün rəqəm 5-ə nəzər salın. Qeyd etmək vacibdir ki, bu addımda çoxlu sayda ROI yaradılır. Obyektivlik bal həddinə əsasən, model ROI-ləri ön plan və ya arxa plan kimi təsnif edir və sonrakı təhlil üçün yalnız ön plan bölgələrini keçir.
Maraq bölgələrini yaratmağın bir sıra müxtəlif yolları var. Əvvəlki modellər ROI yaratmaq üçün seçmə axtarış və əlaqəli alqoritmlərdən istifadə edirdi, daha yeni və daha mürəkkəb modellər isə bunun üçün dərin öyrənmə modellərindən istifadə edir. Gələcək məqalələrdə xüsusi arxitekturaları müzakirə edərkən bunları əhatə edəcəyik.
Lokallaşdırma və Sinif Proqnozları
Obyekt aşkarlama modelləri adətən işlədiyimiz təsnifat modellərindən fərqlidir. Obyekt aşkarlama modeli əvvəlki addımdan hər bir ön plan bölgəsi üçün iki çıxış yaradır:
- Obyekt Sinfi: Bu, təklif olunan hər bir ön plan bölgəsinə sinif etiketi təyin etmək üçün tipik təsnifat məqsədidir. Tipik olaraq, əvvəlcədən hazırlanmış şəbəkələr təklif olunan bölgədən xüsusiyyətləri çıxarmaq üçün istifadə olunur və sonra sinfi proqnozlaşdırmaq üçün bu xüsusiyyətlərdən istifadə edir. ImageNet və ya MS-COCO-da çoxlu siniflərə malik olanlar kimi ən müasir modellər geniş şəkildə uyğunlaşdırılır/öyrənilir. Qeyd etmək vacibdir ki, biz bütün təsvir üçün tək etiket deyil, hər təklif olunan bölgə üçün sinif etiketi yaradırıq. e (tipik təsnifat tapşırığı ilə müqayisədə)
- Sərhəd qutusu koordinatları: Məhdudlaşdırıcı qutu x, y, en və hündürlük üçün 4 dəyəri olan bir dəzgah müəyyən edilir. Bu mərhələdə model hər təklif olunan ön plan bölgəsi üçün də (obyekt sinfi ilə birlikdə) bir dəzgah yaradır.
Çıxış Optimizasiyası
Daha əvvəl qeyd edildiyi kimi, obyekt aşkarlama modeli birinci addımda çoxlu sayda ROI təklif edir, ardınca ikinci addımda məhdudlaşdırıcı qutu və sinif proqnozları. Birinci mərhələdə ROI-lərin filtrasiyasının müəyyən səviyyəsi olsa da (obyektivlik balına əsasən ön plan və arxa plan bölgələri), ikinci addımda proqnozlar üçün hələ də çoxlu sayda bölgələr istifadə olunur. Bu qədər çox sayda təklif olunan bölgə üçün proqnozların yaradılması təsvirdəki müxtəlif obyektlərin yaxşı əhatə olunmasını təmin edir. Bununla belə, eyni bölgə üçün yaxşı üst-üstə düşən bir sıra bölgələr var. Məsələn, Şəkil 6(a)-da eyni obyekt üçün proqnozlaşdırılan 6 məhdudlaşdırıcı qutuya baxın. Bu, potensial olaraq, daxil edilmiş təsvirdə müxtəlif obyektlərin dəqiq sayını əldə etməkdə çətinlik yarada bilər.
Beləliklə, bu çərçivədə çıxışın optimallaşdırılması ilə bağlı üçüncü bir addım var. Bu optimallaşdırma addımı giriş görüntüsündə hər obyekt üçün yalnız bir məhdudlaşdırıcı qutu və sinif proqnozunun olmasını təmin edir. Bu optimallaşdırmanı həyata keçirməyin müxtəlif yolları var. Bu günə qədər ən populyar üsul adlanır Qeyri-Maksimum Bastırma (NMS). Adından da göründüyü kimi, NMS maksimum ehtimalı olanı tapmaq və onların qalan hissəsini sıxışdırmaq üçün hər bir obyekt üçün bütün məhdudlaşdırıcı qutuları təhlil edir (NMS tətbiq edildikdən sonra optimallaşdırılmış çıxış üçün Şəkil 6(b)-ə baxın).
Bu, ümumi obyekt aşkarlama çərçivəsinin yüksək səviyyədə başa düşülməsini yekunlaşdırır. Verilmiş təsvirdə obyektlərin lokallaşdırılması və təsnifatı ilə bağlı üç əsas addımı müzakirə etdik. Növbəti məqalədə biz bu anlayışdan konkret tətbiqləri və onların əsas töhfələrini başa düşmək üçün istifadə edəcəyik.