Tshawb nrhiav Tus Kheej Lub Zeem Muag Transformers Rau Gait Recognition hauv Cov Tsiaj qus Part 1

Abstract:

Txoj kev taug kev (gait) yog qhov muaj zog biometric uas siv los ua tus cim ntiv tes tshwj xeeb, tso cai rau kev coj tus cwj pwm tsis txaus ntseeg ua tau nyob deb yam tsis muaj kev koom tes.

Peb txhua tus paub tias kev tawm dag zog pab kev noj qab haus huv. Ntxiv rau qhov no, kev tawm dag zog kuj pab txhim kho kev nco. Taug kev yog qhov yooj yim thiab yooj yim tshaj plaws ntawm kev tawm dag zog rau kev xyaum, thiab ntau tus neeg nyiam so thaum taug kev lossis jogging. Tam sim no, kev tshawb fawb ntxiv qhia tau hais tias kev taug kev ua tej yam muaj zog rau lub hlwb.

Ua ntej, taug kev txhawb lub hlwb lub paj hlwb, uas pab txhawb lub hlwb ua haujlwm. Thaum lub cev txav mus, peb lub plawv dhia thiab ntshav nce ntxiv, uas tseem ua rau lub hlwb tsim ntau cov neurons thiab synapses. Kev sib txuas ntawm cov neurons thiab synapses tuaj yeem tsim cov neural network tshiab thiab cov txheej txheem xav sai.

Qhov thib ob, kev taug kev tuaj yeem txo qhov kev ntxhov siab thiab kev ntxhov siab, uas yog qhov tseem ceeb heev rau kev txhim kho kev nco. Thaum lub siab thiab lub cev nyob rau hauv lub xeev ntawm nro, kev nyuaj siab, los yog kev ntxhov siab, lub hlwb tso tawm ib tug hormone hu ua cortisol. Cortisol ua rau cov neurons puas thiab synapses hauv lub hlwb, uas tuaj yeem ua rau nco tsis tau. Taug kev txo cov kev ntxhov siab thiab kev ntxhov siab, txo qis cortisol hauv lub cev, thiab pab tswj kev noj qab haus huv neurons thiab synapses.

Thaum kawg, kev taug kev nce ntshav ncig mus rau lub hlwb. Qee cov kev tshawb fawb qhia tias cov ntshav khiav zoo tuaj yeem pab txhim kho kev nco. Thaum peb muaj hnub nyoog, cov hlab ntsha hauv lub hlwb maj mam txhaws, ua rau cov pa oxygen tsis txaus rau lub hlwb. Taug kev tuaj yeem txhim kho kev noj qab haus huv ntawm lub plawv, ua rau lub plawv xa cov pa oxygen thiab cov as-ham rau lub hlwb zoo dua, yog li txhawb kev nco thiab lub hlwb ua haujlwm.

Yog li ntawd, taug kev yog ib qho kev tawm dag zog zoo rau cov hluas thiab cov laus. Ntxiv nrog rau kev txhim kho lub cev, kev taug kev tuaj yeem pab txhim kho kev nco. Cia peb taug kev deb txhua hnub kom peb tus kheej noj qab nyob zoo thiab zoo dua! Nws tuaj yeem pom tau tias peb yuav tsum txhim kho kev nco, thiab Cistanche deserticola tuaj yeem txhim kho kev nco zoo vim Cistanche deserticola yog cov khoom siv tshuaj suav tshuaj uas muaj ntau yam teebmeem, ib qho ntawm kev txhim kho kev nco. Kev ua tau zoo ntawm cov nqaij minced los ntawm ntau yam khoom xyaw uas nws muaj, nrog rau cov kua qaub, polysaccharides, flavonoids, thiab lwm yam. Cov khoom xyaw no tuaj yeem txhawb lub hlwb kev noj qab haus huv ntau txoj hauv kev.

Nyem paub 10 txoj hauv kev los txhim kho kev nco

Raws li kev tawm tsam ntau dua li cov txheej txheem biometric authentication, gait tsom xam tsis tas yuav tsum muaj kev sib koom tes ntawm qhov kev kawm thiab tuaj yeem ua tau nyob rau hauv qhov kev daws teeb meem qis, tsis tas yuav tsum muaj lub ntsej muag tsis muaj kev cuam tshuam / pom. Cov txheej txheem tam sim no feem ntau yog tsim los ntawm kev tswj hwm qhov chaw, nrog cov ntaub ntawv huv, kub-txheej txheem annotated, uas powered kev loj hlob ntawm neural architectures rau kev lees paub thiab kev faib tawm.

Tsuas yog tsis ntev los no muaj kev tsom xam gait venturedinto siv ntau haiv neeg, loj-teev, thiab cov ntaub ntawv tiag tiag rau cov kev sib tham ua ntej hauv kev saib xyuas tus kheej. Kev saib xyuas tus kheej txoj cai tswjfwm ua rau kev kawm muaj ntau haiv neeg thiab muaj zog sawv cev yam tsis muaj cov lus piav qhia kim ntawm tib neeg. Kev tshoov siab los ntawm kev siv ubiquitous transformermodel nyob rau hauv tag nrho cov cheeb tsam ntawm kev kawm tob, nrog rau lub computer tsis pom kev, nyob rau hauv cov hauj lwm no, peb tshawb nrhiav kev siv offive txawv vision transformer architectures ncaj qha siv rau tus kheej saib xyuas gait paub.

Peb hloov kho thiab rov qhia qhov yooj yim ViT, CaiT, CrossFormer, Token2Token, thiab TwinsSVT ntawm ob qhov sib txawv loj-loj cov ntaub ntawv: GREW thiab DenseGait. Peb muab cov txiaj ntsig dav dav rau xoom-steev thiab zoo-tuning ntawm ob daim ntawv teev cov ntaub ntawv qhia txog kev pom zoo, CASIA-B thiab FVG, thiab tshawb nrhiav kev sib raug zoo ntawm cov ntaub ntawv spatial thiab sab cev nqaij daim tawv uas siv los ntawm lub visualtransformer.

Peb cov txiaj ntsig tau pom tias kev tsim cov qauv hloov pauv rau kev ua cov lus tsa suab siv txoj hauv kev hierarchical (ie, CrossFormer qauv) ntawm kev sib tw zoo tshaj plaws ntawm kev sib tw zoo dua li yav dhau los tag nrho cov pob txha.

Ntsiab lus:

gait paub; biometric authentication; pom transformer; pose kwv yees; kev kawm tus kheej; kev kawm sib txawv.

1. Taw qhia

Qhov peb txav mus li cas muaj cov ntsiab lus tseem ceeb ntawm peb tus kheej. Tshwj xeeb, peb txoj kev taug kev (txoj kev taug kev) tau kawm zoo hauv cov tshuaj [1], psychology [2], thiab kev ua kis las [3]. Tsis ntev los no, kev tsom xam gait tau txais kev mloog ntau ntxiv [4,5] los ntawm lub zej zog kev tshawb fawb hauv computer ua ke nrog kev nthuav dav ntawm kev kawm sib sib zog nqus thiab muaj ntau yam khoom siv hauv computer.

AI-powered gait tsom xam tshuab tau muaj peev xwm paub txog cov ntsiab lus [6–10], kwv yees cov pej xeem xws li poj niam txiv neej thiab hnub nyoog [11], thiab kwv yees cov yam ntxwv sab nraud xws li khaub ncaws [12], tsis tas siv cov duab sab nraud. Cov txiaj ntsig no tsis yog xav tsis thoob, muab ntau qhov sib txawv ntawm tus kheej hauv kev mus, uas yog vim qhov sib txawv ntawm cov qauv musculoskeletal, caj ces thiab ib puag ncig, nrog rau tus neeg taug kev lub siab lub ntsws thiab tus cwj pwm [13].

Cov tshuab tam sim no tsuas yog raug cob qhia tiag tiag thiab sim hauv kev tswj hwm ib puag ncig hauv tsev.Feem ntau txoj hauv kev siv CASIA-B dataset [6] raws li tus qauv qauv rau kev paub txog kev taug kev, muaj 124 tus neeg taug kev hauv tsev hauv kev tswj hwm nruj heev uas tau ntes nrog ntau lub koob yees duab. Complexity nyob rau hauv lub ntiaj teb no tiag tiag tsis tuaj yeem ua qauv los ntawm cov xwm txheej txwv tsis pub muaj. Tsuas yog tsis ntev los no qhov kev tsom mus rau kev ua qauv gait "hauv qus", nrog cov ntaub ntawv xws li DenseGait [12], GREW [7], thiab Gait3D [14].

Kev sau cov ntaub ntawv loj loj uas huv si thiab sau tag nrho sawv cev rau kev siv zog ntau heev ntawm ob qho tib si nyiaj txiag thiab kev faib sijhawm. Cov ntaub ntawv GREW [7] tau tshaj tawm tau siv 3 lub hlis ntawm kev ua haujlwm tas mus li los sau thiab sau tseg. Txawm hais tias cov txheej txheem zoo li no tau muaj txiaj ntsig zoo hauv kev tsim neural architectures rau kev ua haujlwm [8,9], lawv tsis muaj ntau haiv neeg kom siv tau zoo nyob rau hauv ntau qhov chaw nyob hauv ntiaj teb.

Lub zej zog AI tau maj mam txav mus deb ntawm txoj hauv kev no hauv lwm qhov chaw, nrog rau txoj hauv kev rau kev saib xyuas tus kheej rau ob qho tib si lub zeem muag [15] thiab lus [16] tau txais txiaj ntsig tseem ceeb thiab feem ntau tshaj cov kev saib xyuas ib txwm muaj. Cov kev kawm tsis ntev los no hauv kev saib xyuas tus kheej tau pom tias tus qauv saib xyuas tus kheej yog qhov muaj zog dua thiab nthuav tawm tus cwj pwm zoo, tsis tau hais meej meej thaum kev cob qhia.

Piv txwv li, DINO [17], lub zeem muag hloov pauv tau kawm hauv kev tswj hwm tus kheej, tau kawm cov yam ntxwv tshwj xeeb hauv chav kawm ua kom tsis muaj kev saib xyuas cov khoom sib cais yam tsis tas siv cov ntawv sau thaum kawm. Cosmaand Radoi [10] tau npaj thawj txoj kev sib txawv rau kev saib xyuas tus kheej rau kev kawm gaitanalysis, los ntawm kev cob qhia ST-GCN [18] ntawm ib qho me me ntawm DenseGait [12]. Lawv cov txheej txheem tau txais txiaj ntsig tsim nyog ntawm cov dej ntws hauv kev paub txog cov dej num thiab pom tias muaj kev sib raug zoo ntawm cov ntaub ntawv ua ntej tau kawm thiab xoom-shot hloov kev ua haujlwm.

Txawm hais tias muaj ntau txoj hauv kev rau kev tsom xam gait tau siv cov silhouettes rho tawm los ntawm keeb kwm kev rho tawm [6,8,9], rho tawm cov silhouettes hauv cov xwm txheej soj ntsuam tiag tiag qhia txog kev siv cov txuj ci siab dua, xws li piv txwv segmentation [19], uas comeat tus nqi suav siab. Sequences ntawm silhouettes nyob hauv qhov chaw khaws cia tseem ceeb thiab tsis yooj yim txaus los siv rau hauv lwm cov dej num uas nyob ib sab, xws li kev paub txog kev ua haujlwm. Ntxiv mus, silhouettes encode hloov maj mam zoo li cues, uas ua rau nws tsis paub meej tias qhov kev txav mus los yog siv hauv kev txheeb xyuas [20].

Ntawm qhov tod tes, 2D poseestimation qauv tau dhau los ua qhov tseeb thiab suav tau zoo [21,22].Skeletons pheej yig rau rho tawm, thiab tam sim no txhim khu kev qha ntau dua 3D meshes thiab 3D poses, tshwj xeeb tshaj yog nyob deb. Ntxiv mus, 2D skeletons yog qhov hnyav dua li silhouettes nyob rau hauv cov nqe lus ntawm kev cia mus ntev.

Cov architectures tam sim no rau kev ua cov kab ke ntawm cov pob txha siv cov qauv ntawm cov duab kos duab uas muaj nyob rau hauv tib neeg lub cev pob txha, qhia txog kev tsis ncaj ncees inductive hauv tus qauv tsim. Cov qauv xws li nrov ST-GCN [18] thiab MS-G3D [23] tau pom cov txiaj ntsig zoo rau cov pob txha-raws li kev paub txog.

Raws li qhov tshwm sim, tau muaj qhov tawg ntawm kev siv cov qauv hloov pauv hauv yuav luag txhua qhov chaw ntawm kev kawm tob txij li lawv thawj daim ntawv thov rau kev ua cov lus ntuj.

Transformers raug suav hais tias yog ib qho kev tsim qauv dav dav, nrog ob peb inductive biases. Thaum pib, transformers tau tawm tsam kom phim CNN cov qauv rau kev faib cov duab [24], tab sis tam sim no tau dhau los ntawm lwm cov qauv thiab tab tom qhia cov txiaj ntsig tau zoo hauv cov xwm txheej tswj hwm tus kheej, ntau dua li lwm hom kev tsim vaj tsev, transformers tau pom muaj peev xwm kawm tau zoo thiab kev coj cwj pwm tshwm sim hauv tus kheej. - saib xyuas [17].

Cosma thiab Radoi [12] yog thawj zaug los tawm tswv yim GaitFormer, ib qho kev hloov pauv ncaj qha ntawm lub zeem muag transformer encoder qauv rau kev paub txog gait, siv cov pob txha pob txha asinput "patches", qhov tseem ceeb tsuas yog ua haujlwm ntawm lub cev nqaij daim tawv, tsis quav ntsej txog kev sib raug zoo.

GaitFormer tau txais kev cob qhia hauv kev saib xyuas tus kheej thiab tshaj lwm txoj kev paub txog kev paub txawm tias tsis muaj kev kho kom zoo. Cov hauj lwm yav dhau los no tau txhawb nqa thiab ua rau txoj hauv kev rau kev tshawb fawb tob ntxiv ntawm qhov muaj peev xwm siv tau ntawm transformer architectures rau kev tsom xam. Cov qauv kev pom kev hloov pauv puas tuaj yeem hloov kho rau kev saib xyuas tus kheej ntawm cov pob txha gait sawv cev?

Qhov teeb meem tseem ceeb ntawm kev tsim vaj tsev nyob hauv kev pom kev hloov pauv yog txhais cov kev sib raug zoo ntawm cov duab thaj, uas txhais cov ntaub ntawv hauv zos thiab thoob ntiaj teb. Thaum ua ntawv thov mus rau gait, qhov kev xaiv ntawm thaj qhov ntev sib haum rau tus nqi ntawm cov ntaub ntawv ntawm lub cev thiab cov ntaub ntawv ntawm lub cev pob txha.

Hauv kev ua haujlwm no, peb nthuav qhia kev kawm dav dav ntawm tsib lub zeem muag sib txawv, hloov kho rau kev paub txog kev mus. Peb tshawb nrhiav cov qauv ViT classical [24], CaiT [25], CrossFormer [26], TwinsSVT [27], thiab token-to-token ViT [28].

Txhua lub tsev tsim tau raug cob qhia nyias nyob rau hauv qhov sib txawv ntawm tus kheej saib xyuas ntawm ob qhov loj "hauv cov tsiaj qus" cov ntaub ntawv ntawm 2D gait skeleton sequences: DenseGait-ib qho cia li sau cov ntaub ntawv los ntawm cov kwj dej raws li kev soj ntsuam, thiab GREW, cov ntaub ntawv me me uas muaj cov ntaub ntawv huv tib neeg.

Peb tshawb nrhiav kev muaj peev xwm hloov mus thoob plaws ob qhov kev tswj cov ntaub ntawv rau kev lees paub, CASIA [6], thiab FVG [29]. Rau txhua cov ntaub ntawv, peb txheeb xyuas ncaj qha (zero-shot) hloov pauv thiab dataefficiency thaum lub sij hawm zoo-tuning los ntawm kev cob qhia nrog kev loj dua subsets ntawm cov datasets.Tsis tas li ntawd, peb ua ib qho kev kawm ablation ntawm kev sib raug zoo ntawm spatial thiab temporaldimensions rau thaj ntau thiab tsawg rau SimpleViT thiab CaiT , tus qauv nraub qaum rau feem ntau ntawm kev pom kev hloov pauv mus rau hnub tim.

Cov seem ntawm daim ntawv yog npaj raws li hauv qab no. Peb ua cov txheej txheem kev ua haujlwm siab ntawm cov haujlwm ntsig txog kev paub txog kev ua qauv thiab kev pom kev hloov pauv. Peb pom tias cov qauv gait sawv cev tau txais txiaj ntsig zoo los ntawm kev saib xyuas tus kheej kom muaj kev sib koom ua ke ntau dua thiab dav dav, thiab cov qauv kev hloov pauv tau pom muaj peev xwm ua qauv zoo hauv kev tswj hwm tus kheej.

Tsis tas li ntawd, peb ua lej piav qhia txog tsib architectures uas peb ntsuas thiab piav qhia txog cov ntaub ntawv ua ntej thiab cov pob txha hloov pauv uas yuav tsum tau ua, xws li lub zeem muag hloov pauv yuav tsum ua haujlwm tsis sib haum xeeb ntawm cov pob txha ua ntu zus. Peb kuj piav qhia txog cov ntaub ntawv augmentation, kev cob qhia thiab kev ntsuas cov ntaub ntawv, thiab kev sim teeb tsa.

Peb nthuav tawm cov txiaj ntsig ntawm CASIA-B thiab FVG rau txhua ntawm tsib lub tsev tsim khoom thiab ob qhov 'pretraining in-the-wild' datasets. Thaum kawg, peb ua qhov kev tshawb fawb ablation ntawm kev sib raug zoo ntawm thaj chaw thiab lub cev ntawm lub cev thiab muab kev sib tham luv luv ntawm peb cov txiaj ntsig. Peb ua peb qhov chaws tshaj tawm rau pej xeem ntawm GitHub (https://github.com/cosmaadrian/gait-vit, nkag rau 28 Lub Ob Hlis 2023) kom pom tseeb thiab rov tsim dua tshiab.

2. Cov hauj lwm cuam tshuam

Nyob rau hauv seem no, peb ua ib tug luv luv lub ntsiab lus ntawm cov uas twb muaj lawm txoj kev rau gait paub incontrolled ib puag ncig thiab "nyob rau hauv qus". Tsis tas li ntawd, peb piav qhia txog qhov tseem ceeb ntawm kev txhim kho ntawm cov qauv hloov pauv thiab, tshwj xeeb, lawv daim ntawv thov hauv lub zeem muag.

2.1. Gait Paub

Ib yam li kev txheeb xyuas lub ntsej muag, kev lees paub gait nyob ntawm kev kawm metric. Asopposed rau ib txwm biometric authentication txoj kev, uas cia siab rau ib tug duab (xws li, lub ntsej muag paub) thiab yuav tsum tau kev koom tes ntau (piv txwv li, iris-raws li biometric authentication), gait nta tau ua tiav raws li ib theem ntawm cov lus tsa suab snapshots. Xws li gesture dynamics yuav tsum tau ntau complexity nyob rau hauv kev txiav txim siab tshaj plaws sub-sequence tab sis pab kom siv unobtrusive authentication ntawm ib tug deb.

Hauv cov ntsiab lus no, txoj haujlwm qhia txog kev cob qhia lub network encoder rau daim duab qhia kev taug kev mus rau qhov chaw embedding qhov twg cov embedding zoo sib xws rau qhov zoo sib xws ntawm qhov gait. Embeddings ntawm kev taug kev uas yog tib tus neeg yuav tsum nyob ze rau qhov chaw pw thiab cov neeg uas tuaj ntawm cov neeg sib txawv yuav tsum tau nyob deb dua.Nyob rau hauv qhov chaw embedding no, kev xav tuaj yeem ua tau los ntawm kev tau txais cov embedding ntawm cov gaitsequence thiab siv cov neeg nyob ze. mus kom ze rau ib tug database ntawm paub taug kev.

Txoj hauv kev tam sim no hauv kev paub txog kev paub tau muab faib ua ob pawg: zoo li [8,9] thiab qauv-raws li [10,12,30]. Cov kev tshwm sim raws li thawj zaug tau txais cov silhouettes ntawm cov kev taug kev nrog cov keeb kwm yav dhau los rho tawm lossis segmentation algorithms los ntawm txhua daim duab video.

Tom qab ntawd qhov sib lawv liag ntawm silhouettes yog pub rau hauv CNN-based architectures uas rho tawm spatial thiab lub cev nqaij daim tawv uas tau muab sau ua ke rau hauv qhov kawg embedding rau kev lees paub. Cov qauv raws li txoj hauv kev rho tawm cov pob txha los ntawm RGB cov yeeb yaj kiab nrog cov qauv poseestimation [21,22]. Sequences ntawm skeletons feem ntau yog ua los ntawm cov qauv uasrely ntawm graph convolutions [10,30] kom tau txais cov embedding ntawm lub gait.

GaitSet, txoj haujlwm ntawm Chao et al. [8], suav nrog kev taug kev raws li cov txheej txheem tsis muaj kev txiav txim siab ntawm silhouettes.Cov kws sau ntawv sib cav tias qhov kev sawv cev no hloov tau yooj yim dua li silhouette ib ntus vim tias nws muaj zog rau kev sib txawv ntawm cov thav ntawv lossis kev sib txuas ntawm ntau txoj kev taug kev thiab kev hloov pauv. Lawv siv convolution khaubncaws sab nraud povtseg rau txhua silhouette kom tau cov duab-theem nta thiab muab lawv mus rau hauv ib tug set-level feature nrogSet Pooling. Lawv tau txais cov txiaj ntsig kawg los ntawm kev siv lawv cov qauv ntawm Kab rov tavPyramid Matching [31].

Fan et al. [9] pom qhov tseeb tias qhov tshwj xeeb ntawm tib neeg silhouette yuav tsum muaj lawv cov lus qhia spatiotemporal vim txhua tus muaj cov qauv tshwj xeeb. Lawv cov architecture, GaitPart, siv focal convolution khaubncaws sab nraud povtseg (FConvs), uas yog ib hom tshwj xeeb ntawm convolution nrog ib tug ntau txwv receptive teb. Cov kws sau ntawv sib cav hais tias FConvs pab lawv lub tsev tsim kho hauv kev kawm paub ntau yam zoo-grained nta rau ntau qhov chaw ntawm lub cev txav mus los.Lawv kuj qhia txog cov micro-motion capture modules, uas yog ua hauj lwm los rho tawm cov yam ntxwv ntawm lub cev me me.

Tepe et al. [30] tawm tswv yim GaitGraph, uas leverages ib tug adapted graph convolutionalnetwork hu ua ResGCN [32] rau encoding lub spatiotemporal nta tau los ntawm ib theem zuj zus ntawm skeletons. Li et al. [33] tawm tswv yim PTP, uas yog ib qho qauv uas sib sau ua ke ntau yam ntawm lub sijhawm los ntawm ib lub voj voog taug kev raws li lawv qhov kev txheeb xyuas ntawm cov theem tseem ceeb tshaj plaws ntawm kev taug kev.

Lawv kuj tseem siv cov duab sib txuas sib txuas rau kev tshem tawm cov yeeb yaj kiab, uas ua haujlwm ua ke nrog PTP. Cov kws sau ntawv qhia txog cov ntaub ntawv tshiab augmentation txoj kev uas hloov cov kev mus kom muaj ntau yam paces hauv lub voj voog muaj tseeb.

Txawm li cas los xij, txawv ntawm cov haujlwm yav dhau los, peb tab tom nrhiav kev ua haujlwm ntawm gait paub architectures hauv kev saib xyuas tus kheej. Kev tshoov siab los ntawm qhov kev vam meej loj heev hauv lub khoos phis tawj lub zeem muag, peb xav kom hloov kho qhov muag pom kev hloov pauv uas twb muaj lawm los ua haujlwm ntawm cov pob txha ua ntu zus es tsis txhob siv cov duab thiab sim lawv tus qauv peev xwm hauv kev saib xyuas tus kheej. Feem ntau lwm cov haujlwm [8,9,30] tsom mus rau lawv cov kev siv zog tsim cov neural architectures uas ua tiav cov txiaj ntsig zoo ntawm kev lees paub ntawm cov ntaub ntawv tswj hwm.

Txawm li cas los xij, peb npaj siab yuav tshem tawm qhov xav tau ntawm phau ntawv sau nqi kim heev rau cov ntaub ntawv gait thiab tshawb nrhiav txoj hauv kev uas tus kheej saib xyuas kev kawm yog tsim nyog rau kev tsom xam gait.

Cov hauj lwm yav dhau los hauv no [10,12] pom tau tias muaj peev xwm kawm tau zoo gait sawv cev los ntawm cov ntaub ntawv tsis muaj zog. Cosmaand Radoi [12] tau thov GaitFormer, thawj qhov kev hloov pauv-raws li kev tsim qauv rau kev ua cov pob txha ua ntu zus, tshwm sim los ntawm ViT [24] qauv. Zoo ib yam li [12], peb sim tshawb nrhiav qhov kev ua tau zoo ntawm lwm cov qauv kev pom kev hloov pauv, nrog rau qhov sib txawv ntawm qhov sib txawv thiab lub cev muaj zog hauv thaj chaw ua haujlwm. Cov ntaub ntawv loj loj rau kev lees paub gait tau raug npaj yav dhau los [7,12], uas tso cai rau kev txhim kho ntawm cov qauv kev qhia dav dav rau kev kawm sawv cev.

For more information:1950477648nn@gmail.com