Tshawb nrhiav Tus Kheej Lub Zeem Muag Transformers Rau Kev Pom Zoo hauv Cov Tsiaj qus Part 3
Nov 24, 2023
Peb siv ib qho yooj yim upsample los interpolate ntawm cov neeg nyob sib ze (Daim duab 3). Txawm li cas los xij, kev ua tsis ncaj ncees ntawm cov pob txha ua rau cov pob txha pob txha nyob thoob plaws lub cev pob txha, tsis hais qhov kev xaiv ntawm pob txha hom (xws li, OpenPose lossis COCO), vim tias qhov kev txiav txim sib koom ua ke tsis khaws cov ntsiab lus semantic.
Kev sib koom ua ke yog hais txog kev txav cov pob qij txha ntawm lub cev hauv ib qho kev txiav txim. Hom kev tawm dag zog no ua lub luag haujlwm tseem ceeb hauv kev tswj lub cev kev noj qab haus huv thiab txhim kho lub cev nco.
Ua ntej tshaj plaws, kev sib koom ua ke tuaj yeem txhawb nqa kev sib koom tes ntawm ntau qhov chaw ntawm lub cev, txhim kho cov leeg nqaij, thiab txhim kho cardiopulmonary muaj nuj nqi, uas txhua tus pab tswj kev noj qab haus huv. Nyob rau tib lub sijhawm, kev sib koom ua ke tsis tu ncua tuaj yeem txo lub cev tawv thiab mob, txhim kho lub cev thiab sib npaug, thiab ncua kev poob ntawm lub cev ua haujlwm los ntawm hnub nyoog.
Qhov thib ob, kev sib koom ua ke tuaj yeem txhim kho kev nco. Kev tshawb fawb qhia tau hais tias kev tawm dag zog tuaj yeem txhawb kev loj hlob thiab kev sib txuas ntawm lub hlwb neurons, yog li txhawb kev sib pauv cov ntaub ntawv ntawm cov neurons, uas tuaj yeem pab txhim kho kev nco thiab kev kawm muaj peev xwm. Lub zog sib txuas ntawm cov pob qij txha yuav tsum tau lub hlwb muab cov lus qhia tseeb rau kev txav ntawm ntau yam hauv lub cev, uas yog kev pab zoo rau kev txhim kho ntawm lub hlwb kev sib koom tes thiab kev nco muaj peev xwm.
Thaum kawg, kev sib koom ua ke tuaj yeem txo qhov kev ntxhov siab thiab kev ntxhov siab thiab txhim kho kev xav. Kev tawm dag zog tuaj yeem tso qee yam khoom hauv lub cev, xws li dopamine thiab endorphins, uas tuaj yeem pab daws teeb meem kev xav thiab txhim kho lub cev kev zoo siab thiab kev txaus siab. Cov xwm txheej no kuj muaj txiaj ntsig zoo rau kev txhim kho kev nco.
Hauv cov ntsiab lus, muaj kev sib raug zoo ntawm kev sib koom ua ke thiab kev nco. Los ntawm kev sib koom ua ke ua ntu zus, koj tuaj yeem txhawb kev noj qab haus huv lub cev thiab lub hlwb, txhim kho kev nco thiab kev kawm, thiab txhim kho kev xav. Cia peb mloog zoo rau kev noj qab haus huv thiab txaus siab rau kev zoo nkauj ntawm lub neej ua ke! Nws tuaj yeem pom tau tias peb yuav tsum txhim kho kev nco, thiab Cistanche deserticola tuaj yeem txhim kho kev nco zoo vim Cistanche deserticola yog cov khoom siv tshuaj suav tshuaj uas muaj ntau yam teebmeem, ib qho ntawm kev txhim kho kev nco. Kev ua tau zoo ntawm cov nqaij minced los ntawm ntau yam khoom xyaw uas nws muaj, nrog rau cov kua qaub, polysaccharides, flavonoids, thiab lwm yam. Cov khoom xyaw no tuaj yeem txhawb lub hlwb kev noj qab haus huv ntau txoj hauv kev.
Nyem paub ntxiv los txhim kho kev nco
Qhov kev soj ntsuam no yog ua raws li txoj haujlwm ntawm Yang li al. [44], uas tawm tswv yim tsob ntoo skeleton duab (TSSI) los qhia txog kev sib raug zoo ntawm cov pob qij txha. Nws yog raws li qhov tob-thawj tsob ntoo traversal ordering ofjoints, uas khaws cia lub cev pob txha cov ntaub ntawv. Daim duab 3 (txoj cai), qhia txog qhov cuam tshuam ntawm cov qauv pob txha sib txawv thiab cov txheej txheem nce qib. Rau txoj kev resizing no, peb siv TSSI hom thiab bicubic interpolation.
Tsis tas li ntawd, peb tau sim nrog ob txoj kev nce qib, uas tau kawm tau thaum kawm. Peb siv cov txheej txheem yooj yim linear siv rau txhua lub pob txha pob txha kom nce cov pob qij txha. Qhov no yog qhov yooj yim tshaj plaws los hloov txhua lub cev pob txha, tab sis nws tsis suav nrog kev sib raug zoo ntawm cov pob qij txha. Txhawm rau hais txog qhov no, peb kuj tseem ntiav cov txheej txheem ntawm 2D deconvolutional txheej ntawm lub cev pob txha ua ntu zus rau kev hloov pauv thaum tseem coj cov ntaub ntawv tsim nyog rau hauv tus account; rau txoj kev no, peb kuj siv TSSI hom ntawv.
Table 1 showcases cov txiaj ntsig rau txhua txoj kev resizing rau tag nrho cov architectures. Cov qauv tau txais kev cob qhia thiab tshuaj xyuas ntawm CASIA-B rau 200 lub sijhawm, thiab peb qhia cov txiaj ntsig rau kev taug kev ib txwm muaj. Rau lwm qhov ntawm peb qhov kev sim, peb tau xaiv los ua cov qauv ntawm cov pob txha ua ntu zus nrog bicubic interpolation.
Txawm hais tias muaj ntau qhov ua tau rau tus kheej saib xyuas cov txheej txheem pretraining, peb tau xaiv txoj hauv kev sib txawv ntawm pretraining vim nws yog tib txoj kev rau qhov tseeb retrievaltask ntawm gait paub. Contrastive le caag txhawb cov sawv cev ntawm tib chav kawm kom nyob ze rau hauv qhov chaw latent, thaum tib lub sijhawm nyob deb ntawm cov sawv cev ntawm cov chav kawm sib txawv.
Tshwj xeeb, peb siv Supervised Contrastive [45] rau pretraining. SupCon poob ua haujlwm ntawm ntau qhov kev pom: txhua tus qauv hauv batchhas ntau qhov kev hloov pauv ntawm nws tus kheej. Nws tau pom tias ib txwm muaj zog ntau dua todata kev noj nyiaj txiag, nws txo qhov kev xav tau ntawm kev xaiv ua tib zoo xaiv triplets txij li cov gradientencourages kawm los ntawm cov piv txwv nyuaj thiab tsis tshua muaj siab rau hyperparameters.
3.4. Cov ntaub ntawv Augmentation
Kev cob qhia nyob rau hauv kev saib xyuas tus kheej tsis sib xws nrog SupCon poob txhais tau hais tias kev siv cov ntaub ntawv augmentation los muab ntau yam "saib" ntawm tib lub cev pob txha sib lawv liag.Augmentations siv rau peb cov pob txha taug kev raws li txoj kab nrog rau lwm yam haujlwm hauv cheeb tsam no [10,12, 30]. Lub ntsiab augmentation siv yog random ib ntus cropping nrog aperiod ntev ntawm T=64 ntas.
Muab hais tias cov pob txha raug taug qab rau lub sijhawm sib txawv ntawm lub sijhawm, peb siv cov qoob loo kom ntseeg tau tias txhua qhov sib txuas muaj qhov ntev. Tsis tas li ntawd, tus neeg taug kev tuaj yeem hloov kev taw qhia thiab ua lwm yam kev coj ua thoob plaws lub sijhawm taug kev; yog li ntawd, cropping induces ntau variability rau tib theem.
Tsis tas li ntawd, peb hloov kho txoj kev taug kev los ntawm kev ua kom qeeb lossis nrawm ntawm kev taug kev.Peb siv cov kev hloov pauv ceev ntawm {{{0}}.5, 0.75, 1, 1.25, 1.5, 1.75, 2.0} ib. Qhov no yog yoog los ntawm kev ua haujlwm ntawm Wang et al. [48] rau kev saib xyuas tus kheej ntawm kev sawv cev video. Ntxiv mus, pacemodification tau siv nyob rau hauv kev tshuaj ntsuam gait yav dhau los [33].
Peb kuj siv random flipping nrog qhov tshwm sim ntawm {{{0}}}.5, ib ntu rov qab nrog qhov tshwm sim ntawm 0.5, ntxiv Gaussian suab nrov rau txhua qhov sib koom nrog σ=0.005, thiab randomdropout ntawm 5% ntawm cov pob qij txha nrog qhov tshwm sim ntawm 0.01 los simulate cov pob qij txha uas ploj lawm los ntawm tus qauv poseestimation.
3.5. Initialization Methods
Txhawm rau ntsuas qhov cuam tshuam ntawm tus kheej saib xyuas kev ua haujlwm ua ntej ntawm cov qauv tsim qauv, peb tshawb txog peb txoj kev pib sib txawv. Table 2 qhia txog ntau yam ntaub ntawv siv hauv cov ntaub ntawv. Thaum CASIA-B [6] thiab FVG [29] yog cov tswj cov ntaub ntawv, feem ntau yog siv rau kev ntsuam xyuas, peb siv DenseGait [12] thiab GREW [7] rau tus kheej saib xyuas pretraining rau tsib architectures. DenseGait thiab GREW yog ob qhov loj tshaj plaws ntawm cov ntaub ntawv tiag tiag, sau rau hauv qhov chaw sab nraum zoov, uas xav tias muaj feem ntau ntawm kev hloov pauv, kev coj cwj pwm, thiab qhov nyuaj tam sim no hauv lub neej niaj hnub. Peb xaiv cov ntaub ntawv no kom muaj cov sawv cev dav dav ntxiv, kom tso cai rau kev txheeb xyuas qhov tseeb ntawm qhov kev soj ntsuam dav dav.
DenseGait Pretraining DenseGait yog qhov loj-loj "hauv cov tsiaj qus" gait dataset sau los ntawm kev soj ntsuam kwj. Nws muaj 217 K taug qab cov pob txha ua ntu zus, rho tawm siv AlphaPose [22], nyob rau hauv ntau qhov chaw thiab lub koob yees duab kaum los ntawm ntau qhov chaw. Txij li thaum DenseGait tau sau cia, nws cov lus piav qhia nyob rau hauv cov nqe lus ntawm kev taug qab tus cim tsis muaj suab nrov, thiab cov ntaub ntawv yuav muaj cov kab ke hais txog tib qho kev kawm, txawm hais tias qhov no yog qhov tshwm sim tsis tshua muaj. Txawm li cas los xij, qhov no yog qhov teeb meem rau feem ntau ntawm cov ntaub ntawv tsis muaj npe loj uas muaj cov qauv uas muaj nyob hauv tib chav kawm semantic, uas yog suav tias tsis cuam tshuam thaum kev cob qhia. Peb ua ntej cob qhia txhua tus qauv ntawm DenseGaitand siv cov kev cob qhia tsis zoo rau kev ntsuas kev ua tau zoo hauv qab ntawm cov ntaub ntawv tswj hwm.
GREW Pretraining GREW yog lwm cov ntaub ntawv "hauv qus" sab nraum zoov tab sis tau ua tib zoo piav qhia tias nws muaj cov ntsiab lus taug kev hla ntau hnub thiab ntau hom khaub ncaws. Txawm li cas los xij, kom ua raws li cov cai ntawm kev tswj hwm tus kheej, muab cov lus piav qhia thiab kho txhua qhov kev taug kev raws li tus neeg sib txawv. GREW yog 2 × me dua DenseGait, muaj 128 K lub cev pob txha ua ntu zus, thaum tseem muaj txhua tus neeg taug kev taug qab rau lub sijhawm nruab nrab me me [12]. Peb kuj cob qhia txhua tus architectureon GREW thiab siv cov kev cob qhia tsis zoo rau kev ntsuas kev ua haujlwm qis.
Random Initialization Txoj kev pib pib no sib raug rau tsis muaj pretraining (piv txwv li, kev cob qhia los ntawm kos). Txhua architecture yog kawm nrog random hnyav pib ntawm cov ntaub ntawv downstream. Txoj kev no yog lub hauv paus los sib piv qhov kev ua tau zoo ntawm kev ua tau zoo bypretraining.
3.6. Kev ntsuam xyuas
Kev ua haujlwm hauv qab yog ntsuas ob yam sib txawv rau kev paub txog kev mus. Peb ncaj qha kuaj cov peev txheej rov qab los ntawm kev cob qhia ua ntej, tsis muaj kev nplua rau ib txoj haujlwm tshwj xeeb. Txoj kev no sib raug mus rau xoom-shot hloov chaw. Tsis tas li ntawd, wefine-tune txhua tus qauv siv 10 × qhov kev kawm me me dua li ntawm kev kawm ua ntej, nrog rau kev kawm me me thaum pib ntawm lub network, sib xws rau cov neeg kawm txuj ci kev kawm tsis zoo (LLRD) [50] txoj cai.
Kev ntsuam xyuas ntawm qhov kev ua tau zoo hauv qab yog ua los ntawm ob lub npe nrov gaitrecognition datasets: CASIA-B [6] thiab FVG [29]. Ob lub datasets muaj ib tug me me ntawm cov ntsiab lus raws li nruj taug kev raws tu qauv, uas yog tswj los ntawm ntau yam confoundingfactors: lub koob yees duab lub kaum sab xis, khaub ncaws, accessories, thiab taug kev ceev.
CASIA-B yog cov ntaub ntawv sab hauv tsev uas muaj 124 yam uas tau ntes los ntawm 11 lub koob yees duab synchronized. Txhua tus neeg taug kev hauv peb yam sib txawv: taug kev ib txwm, hloov khaub ncaws, thiab nqa lub hnab. Txij li thaum nws tso tawm, nws yog ib qho tseem ceeb rau benchmarking gaitanalysis qauv, yog ib tug ntawm cov feem ntau siv datasets nyob rau hauv lub cheeb tsam no. Peb siv thawj 62 yam kev kawm raws li kev cob qhia thiab cov seem ntawm 62 rau kev ntsuas kev ua tau zoo. Rau gaitrecognition, peb xaiv los ntsuas kev ua tau zoo ntawm ib lub kaum sab xis hauv qhov "tso tawm-ib-tawm" qhov chaw, nyob rau hauv qhov chaw teeb tsa muaj tag nrho cov kaum taug kev tsuas yog lub kaum sab xis.
Front-View Gait yog lwm cov ntaub ntawv nrov rau kev paub txog kev mus, muaj 226 kev taug kev sab nraum zoov raws li ntau yam kev cai. Sib txawv ntawm CASIA-B, FVG nta ntxiv qhov tsis txaus ntseeg: taug kev nrawm, cluttered keeb kwm yav dhau, thiab lub sijhawm dhau mus (piv txwv li, qee qhov kev kawm tau sau npe taug kev uas ncua ib xyoos). Tsis tas li ntawd, txhua qhov kev kawm raug ntes nrog lub koob yees duab pem hauv ntej lub kaum ntse ntse, uas yog suav tias yog qhov nyuaj tshaj plaws rau kev paub txog kev nkag mus vim nws muaj qhov tsawg tshaj plaws ntawm kev pom kev sib koom ua ke. Peb siv thawj 136 yam kev kawm rau kev cob qhia thiab lwm yam rau kev ntsuas kev ua tau zoo. Kev ntsuas kev ua tau zoo rau kev paub txog kev nkag mus ua raws li cov txheej txheem teev tseg los ntawm cov kws sau ntawv, uas peb siv cov txheej txheem taug kev ib txwm nyob hauv chav teeb duab thiab lwm yam xwm txheej hauv kev sojntsuam.
Rau txhua qhov kev ntsuam xyuas qhov xwm txheej, peb siv cov kev txiav txim siab cog qoob loo nyob rau hauv nruab nrab ntawm qhov kev taug kev thiab tsis txhob siv qhov kev xeem-lub sij hawm augmentations.
4. Kev sim thiab cov txiaj ntsig
4.1. Kev ntsuam xyuas CASIA-B
Peb ua ntej cob qhia txhua tus qauv ntawm DenseGait thiab GREW, raws li, thiab ntsuas qhov ua tau zoo ntawm CASIA-B thiab FVG. Hauv thawj txheej ntawm kev sim, peb xav ntsuas qhov kev ua tau zoo ntawm CASIA-B hauv qhov xwm txheej zoo tom qab pretraining, nrog cov qauv kev cob qhia loj dua. Peb tau cob qhia txhua lub network ntawm thawj 62 tus lej, nrog rau txhua qhov kev taug kev hloov pauv, thiab khaws cov seem rau kev sim. Kev ntsuam xyuas kev lees paub tau ua tiav siv thawj 4 cov qauv taug kev ib txwm ua raws li qhov chaw teeb tsa, thiab qhov seem ntawm kev sojntsuam. Daim duab 4 qhia qhov tseeb rau txhua qhov ntawm peb txoj kev taug kev (ib txwm-NM, khaub ncaws-CLm thiab hnab nqa-BG) rau CASIA-B. Rau qhov xwm txheej no, werandomly sampled K={1, 2, 3, 5, 7, 10} taug kev ib qho kev kawm, ib lub kaum ntse ntse, thiab cob qhia tus qauv.Thaum qhov kev ua tau zoo sib xws ntawm architectures, nws yog qhov tseeb tias pretraining muaj ib qho kev txhawb nqa tseem ceeb hauv kev ua tau zoo piv rau kev pib ua ntej random, tsis hais qhov pretraining dataset xaiv.
Ntxiv mus, SimpleViT, CrossFormer, thiab Twins-SVT zoo li muaj qhov ua tau zoo sib xws, thaum Token2Token yog me ntsis lagging. Qhov no qhia tau hais tias txoj kev nce qib tokenization siv nyob rau hauv Token2Token, uas tau tsim tshwj xeeb rau cov duab zoo li cov qauv, tsis zoo ntes cov yam ntxwv ntawm gaitsequences. Muaj qhov sib txawv ntawm cov ntaub ntawv pretraining: DenseGaitseems muab qhov kev ua tau zoo sib xws hauv ob qho kev taug kev sib txawv (CL thiab BG) thaum piv rau GREW. Qhov no yog qhov qhia txog qhov tseeb tias DenseGait suav nrog cov xwm txheej nyuaj dua thiab muaj tseeb uas npaj tau tus qauv zoo dua rau cov xwm txheej uas tus qauv taug kev cuam tshuam los ntawm lwm yam.
Cov architectures raug cob qhia los ua daim ntawv qhia kev taug kev mus rau qhov chaw embedding, qhov twg qhov sib thooj ntawm cov ntsiab lus qhia txog qhov zoo sib xws ntawm cov kev taug kev sib xws. Qhov no txhais tau hais tias cov embeddings ntawm unseen gait sequences los ntawm tib lub hom phiaj yuav tsum nyob ze rau ib leeg nyob rau hauv lub embedding qhov chaw thiab tsim pawg, thaum theem beddings ntawm txawv tus kheej yuav tsum nyob deb ntawm ib leeg thiab tsim distinctclusters. Qhov no yog qhov tseem ceeb vim nws tso cai rau tus qauv ua kom dav dav rau qhov tsis pom kev taug kev thiab txheeb xyuas qhov tseeb ntawm tus neeg los ntawm kev siv txoj hauv kev ze tshaj plaws. Nyob rau hauv daim duab 5, peb nthuav qhia cov pawg rau cov embeddings rau txhua tus neeg nyob rau hauv qhov kev ntsuam xyuas ntawm CASIA-Bafter dimensionality txo nrog t-SNE [51]. Peb siv 256-dimensional embeddingvector thiab projected rau hauv ob qhov ntev. SimpleViT thiab CrossFormer zoo li muaj qhov sib cais zoo tshaj plaws ntawm tus kheej, tsis hais lub koob yees duab saib.
4.2. Evaluation of FVG
Ib yam li ntawd, peb tau soj ntsuam qhov ua tau zoo ntawm txhua qhov kev tsim qauv ntawm FVG, uas yog qhov sib txawv ntawm CASIA-B, vim nws tsuas muaj ib lub kaum sab xis saib xwb. Peb fine-tunedeach pre-trained network ntawm ib feem f={0.1, 0.2, 0.3, {{10 }}.5, 0.7, 1.0} ntawm 12 tus neeg khiav haujlwm hauv kev cob qhia. Cov txiaj ntsig zoo tau nthuav tawm hauv daim duab 6. Cov txiaj ntsig tau ua raws li qhov sib xws rau cov CASIA-B: SimpleViT thiab CrossFormer muaj kev ua tau zoo tsis tu ncua, thiab kev siv cov ntaub ntawv qhia ua ntej tau txais txiaj ntsig zoo rau kev ua haujlwm qis. Tsis tas li ntawd, kev qhia ua ntej ntawm DenseGait zoo li ua rau muaj qhov tseeb tsis tu ncua. Raws li tau sau tseg los ntawm Cosma thiab Radoi [12], DenseGait muaj cov ntsiab lus taug qab ntev dua, thiab qhov no muab ntau qhov kev hloov pauv hauv lub hom phiaj kev kawm tsis sib xws, zoo ib yam li kev cog qoob loo rau tus kheej saib xyuas pretraining rau cov duab ntuj. Zoo ib yam li cov txiaj ntsig ntawm CASIA-B, cov khaub ncaws hloov pauv hnyav heev poob qab qhov xwm txheej taug kev.
Hauv Table 4, peb nthuav tawm cov txiaj ntsig zoo tshaj plaws ntawm qhov kev sim ntawm FVG ntawm cov qauv ua ntej, zoo ib yam li CASIA-B scenario. Pretraining tau zoo ib yam: pretraining ntawm DenseGait ncaj qha mus rau kev txhim kho nyob rau hauv lub downstream raug. Thaum pretraining ntawm ob lub datasets txhim kho kev ua tau zoo hauv txhua qhov xwm txheej, kev txhim kho yog qhov tseem ceeb hauv CBG (Cluttered Background) scenario uas feem ntau muaj ntau tus neeg hauv cov yeeb yaj kiab, zoo ib yam li qhov yuav xav tau qhov chaw tsis muaj tseeb. Qhov kev txhim kho no yuav yog los ntawm qhov tseeb tias DenseGait thiab GREWwere tau sib sau ua ke hauv ib puag ncig ntuj, tsis muaj kev tswj hwm, ua rau lawv muaj tseeb thiab nyuaj dua, yog li npaj tau zoo dua cov qauv rau cov xwm txheej zoo sib xws rau cov hauv CBG scenario. Qhov qeb duas ntawm cov qauv zoo ib yam li CASIA-B: SimpleViT, CrossFormer, thiab Twins-SVT tsis tu ncua ua haujlwm zoo dua CaiT thiab Token2Token. Rau ob qho tib si CASIA-B thiab FVG, CaiT me ntsis lag tom qab lwm tus qauv.
4.3. Spatiotemporal Sensitivity Test
Ib qho tshwj xeeb ntawm lub zeem muag transformers yog qhov kev xaiv ntawm qhov ntev ntawm thaj tsam, uas tuaj yeem ua pov thawj yog qhov tseem ceeb hauv kev ua haujlwm kawg. Nyob rau hauv cov ntaub ntawv ntawm cov duab ua, thaj qhov ntev tsis yog qhov tseem ceeb tshwj xeeb, vim qhov kev hloov pauv tsis sib xws ntawm cov ntsiab lus semantic hauv cov duab.
Txawm li cas los xij, rau cov pob txha pob txha, txawm li cas los xij, thaj tsam qhov ntev sib haum rau cov yam ntxwv tshwj xeeb thiab txhais tau ntawm cov tswv yim: thaj qhov siab sawv cev rau cov ntaub ntawv spatial uas muaj nyob rau hauv ib thaj (piv txwv li, tus naj npawb ntawm cov pob txha pob txha suav nrog), thaum qhov ntev ntawm lub cev sawv cev rau tus nqi ntawm cov ntaub ntawv ntawm lub cev ( ie, tus naj npawb ntawm cov ncej). Qhov sib npaug ntawm ob yuav tsum tau ua tib zoo txiav txim siab hauv kev siv cov kev pom kev pom kev hloov pauv rau kev txheeb xyuas gait. Nyob rau hauv daim duab 7, peb nthuav qhia lub tshav kub uas txhua lub xov tooj ntawm tes yog qhov kev ua tau zoo ntawm tus qauv kev cob qhia (tseem pib pib) ntawm CASIA-B rau kev taug kev ib txwm muaj. Peb cob qhia txhua tus qauv rau 50 lub sijhawm rau kev sib piv ncaj ncees, thiab txhawm rau ntsuas qhov sib tw ceev ntawm tus lej ntawm cov kauj ruam.
Peb tsim ob lub tshav kub kub, ib qho rau SimpleViT thiab ib qho rau CaiT vim lawv muaj cov pob txha zoo sib xws, thiab nws ncaj nraim los hloov qhov ntau thiab tsawg. Cov txheej txheem tib yam tuaj yeem ua rau lwm qhov kev kuaj xyuas architectures. Peb txiav txim siab tias qhov me me me me sib haum rau qhov kev ua tau zoo ntawm kev ua qauv rau cov pob txha ua ntu zus, thaum qhov kev sib pauv ntawm qhov ntev thiab lub sijhawm ntev tsis yog qhov tseem ceeb, vim tias kev ua tau zoo sib xws - lub tshav kub matrix yog symmetrically symmetric los ntawm kab pheeb ces kaum thib ob. Yog li ntawd, qhov me me square thaj loj xws li (2, 4) thoob plaws qhov ntev thiab lub cev qhov ntev yog qhov zoo tshaj plaws rau txoj haujlwm no, thaum thaj tsam loj dua xws li (32, 32) muaj cov ntaub ntawv sib cais tsawg dhau. Txawm li cas los xij, me me thaj ua rau me me tsuas yog nce tus lej ntawm thaj ua rau thaj, uas yuav tsum tau siv hluav taws xob ntau dua. Rau peb qhov teeb tsa ntawm ob NVIDIA RTX 3060 GPUs, peb tau tshaj tawm qhov tsis raug ntawm lub cim xeeb rau qee qhov kev sib txuas ntawm thaj me me.
Qhov feem ntau yuav yog vim li cas rau kev txhim kho kev ua tau zoo nrog me me thaj ua rau thaj yog tias cov qauv tsim tau zoo dua los ntes qhov nyuaj ntawm txoj kev taug kev los ntawm kev suav ntau qhov sib cuam tshuam ntawm thaj ua rau thaj. Patches nrog qhov loj tshaj plaws ntawm qhov loj thiab qhov tsawg tshaj plaws ntawm lub cev ntawm lub cev tuaj yeem suav tias yog tag nrho cov sawv cev ntawm cov pob txha, whereas thaj ua rau thaj uas muaj qhov loj tshaj plaws ntawm lub cev thiab qhov tsawg tshaj plaws tau spatialsizes ntes tag nrho ntawm ib tus neeg sib koom ua ke. Raws li tuaj yeem pom, qhov tseeb siab tshaj plaws yog ua tiav thaum qhov loj me sib txuas nrog qhov sib npaug ntawm ob qho tib si spatial thiab temporal cov ntaub ntawv, uas sib haum rau cov kev txav me me ntawm cov pob qij txha sib txuas.
5. Kev sib tham thiab cov lus xaus
Hauv kev ua haujlwm no, peb tau muab qhov kev ntsuam xyuas dav dav ntawm tsib qhov kev hloov pauv nrov ntawm kev pom kev hloov pauv hloov pauv rau kev ua cov pob txha pob txha. Peb cov kev siv zog yog nyob rau hauv txoj kab nrog rau tam sim no kev nce qib hauv kev kawm tob kom tseem ceeb sib koom ua ke ntawm cov qauv sib txawv raws li cov qauv kev hloov pauv. Peb tau npaj ib txoj kev spatial upsampling rau skeletons (bicubicupsampling nrog TSSI skeleton format) kom artificially nce tus naj npawb ntawm cov pob qij txha, xws li hais tias qhov sib lawv liag tau zoo los ntawm transformer encoders. Tsis tas li ntawd, txhua tus qauv tsim tau raug cob qhia raws li kev saib xyuas tus kheej ntawm kev saib xyuas tus kheej ntawm ob qhov dav dav thiab loj-loj cov ntaub ntawv taug kev (ie, DenseGait thiab GREW), thiab tom qab ntsuas ob daim ntaub ntawv rau kev paub txog kev nkag mus hauv qhov chaw tswj hwm (xws li CASIA-B thiab FVG). Peb xaiv los txais yuav tus kheej-saib xyuas kev kawm paradigm kom tau txais cov yam ntxwv dav dav, tsis txwv rau ib qho kev hloov pauv ntawm kev taug kev lossis lub koob yees duab saib.
Peb cov txiaj ntsig tau hais txog qhov xav tau kom muaj nuj nqis ntau, ua tau zoo, thiab cov ntaub ntawv sib txawv rau cov qauv kev tsom xam ua ntej. Peb tau pom tias kev qhia ua ntej ntawm DenseGait muaj qhov muaj txiaj ntsig zoo ntawm kev txhim kho GREW, vim tias qhov loj me, qhov sib txawv, thiab qhov nruab nrab taug kev ntev [12]. Qhov txiaj ntsig tseem ceeb tshaj plaws, txawm li cas los xij, yog nyob rau hauv cov xwm txheej uas muaj cov ntaub ntawv qhia kev kawm tsawg. Peb cov txiaj ntsig tau pom tias kev cob qhia los ntawm khawb ua rau muaj txiaj ntsig zoo dua li kev kho kom zoo txawm tias muaj cov ntaub ntawv me me (piv txwv li, 10 ntu ib tus neeg). Tam sim no, feem ntau txoj kev taug kev yog ua nyob rau hauv tsev hauv qhov chaw tswj hwm nruj, uas tsis tuaj yeem hais dav dav rau qhov nyuaj ntawm kev sib cuam tshuam hauv ntiaj teb. Cov ntaub ntawv qhia kev sib txawv yog qhov tseem ceeb rau kev ua qhov tseeb hauv-tus-tsiaj qus kev soj ntsuam, tshwj xeeb tshaj yog vim kev mus yog biometric yam ntxwv yooj yim cuam tshuam los ntawm ib puag ncig ib puag ncig, nrog rau cov khoom sab hauv thiab kev xav.
Peb txoj kev tshawb fawb ablation qhia tau hais tias me me spatial-temporal thaj ua rau thaj ua rau muaj txiaj ntsig zoo rau cov txiaj ntsig qis dua. Qhov kev pom no qhia txog kev txhim kho yav tom ntej ntawm architectures forskeleton sequences, uas yav tas los tso siab rau kev ua tiav ib tus neeg lub cev pob txha ntawm ib thaj [12].
Nrog rau kev sib koom ua ke los coj kev tsom xam mus rau hauv qhov chaw muaj tiag, peb qhov kev ua haujlwm ntxiv ua rau kev hloov pauv ntawm kev txheeb xyuas qhov tseeb thiab kev coj tus cwj pwm los ntawm sab hauv tsev, tswj ib puag ncig mus rau sab nraum zoov, qhov chaw tiag tiag. Nyob rau hauv-tus-tsiaj qus gait paub yuav ua ubiquitous nrog cov kev loj hlob ntawm ntse sensors thiab npaum neural architectures uas ua tus txheej txheem txav-tsav cwj pwm nyob rau hauv real-time.
Cov ntaub ntawv
1. Kyeong, S.; Kim, SM; Jung, S.; Kim, DH Gait qauv tsom xam thiab kev txheeb xyuas pawg pab pawg neeg kho mob: Kev soj ntsuam rov qab los. Tshuaj 2020, 99, e19555. [CrossRef] [PubMed]
2. Michalak, J.; Troje, NF; Fischer, J.; Volmar, P.; Heidenreich, T. Schulte, D. Embodiment of Sadness and Depression—GaitPatterns Associated With Dysphoric Mood. Psychosom. Med. Xyoo 2009, 71, 580–587. [CrossRef] [PubMed]
3. Willems, TM; Witvrouw, E.; De Cock, A.; De Clercq, D. Gait-muaj feem cuam tshuam rau kev qoj ib ce-qib mob thaum lub sij hawm shodrunning. Med. Sci. Kev ua si nawv. Xyoo 2007, 39, 330–339. [CrossRef] [PubMed]
4. Singh, JP; Yaj, S.; Arora, S.; Singh, UP Vision-based gait recognition: Ib daim ntawv ntsuam xyuas. IEEE Access 2018, 6, 70497–70527. [CrossRef]
5. Makihara, Y.; Nixon, MAS; Yagi, Y. Gait lees paub: Databases, sawv cev, thiab kev siv. Tshuab xam zauv. Vis. Ref. Phau Ntawv Qhia 2020, 1–13.
6. Yus, S. Tan, D.; Tan, T. Ib lub hauv paus rau kev ntsuam xyuas qhov tshwm sim ntawm lub kaum sab xis, khaub ncaws thiab nqa cov xwm txheej ntawm kev paub txog kev taug kev.In Proceedings of the 18th International Conference on Pattern Recognition (ICPR'06), Hong Kong, China, 20–24 August 2006; Volume 4 Ib., 441–444.
7. Zhou, Z.; Guo, X.; Yaj, T.; Huang, J.; Deng, J.; Huang, G.; Du, D.; Lu, J.; Zhou, J. Gait Recognition in the Wild: A Benchmark. InProceedings of the IEEE International Conference on Computer Vision (ICCV), Montreal, BC, Canada, 11–17 Lub Kaum Hli 2021.
8. Chaw, H.; Nws, Y.; Zhang, J.; Feng, J. Gaitset: Hais txog gait raws li kev teeb tsa rau kev pom kev pom kev pom. Hauv Kev Ua Haujlwm ntawm AAAIConference ntawm Artificial Intelligence, Honolulu, HI, Tebchaws USA, 27 Lub Ib Hlis-1 Lub Ob Hlis 2019; Phau 33, p. 8126–8133.
9. Fan, C.; Peng, Y.; Cai, C.; Li, X.; Hou, S.; Chiv, J.; Huang, Y.; Li, Q. Nws, Z. Gaitpart: Temporal part-based model for gaitrecognition. Hauv Kev Ua Haujlwm ntawm IEEE/CVF Lub Rooj Sib Tham ntawm Computer Vision thiab Pattern Recognition, Seattle, WA, USA, 13–19 Lub Rau Hli 2020; Ib., 14225–14233.
10. Cosma, A.; Radoi, IE WildGait: Kawm Gait Sawv Cev los ntawm Raw Surveillance Stream. Sensors 2021, 21, 8387. [CrossRef][PubMed]
For more information:1950477648nn@gmail.com
