Novel Spatio-Temporal Continuous Sign Language Recognition Siv Kev Txaus Siab Ntau-Feature Network(1)

Abstract: Muab cov kwj deg video, peb tsom kom raug txheeb xyuas cov cim qhia tsis raug cuam tshuam nrog kev lees paub lus cim txuas ntxiv (CSLR). Txawm hais tias muaj kev nce qib hauv cov txheej txheem kev kawm tob hauv cheeb tsam no, feem ntau ntawm lawv feem ntau tsom rau kev siv tsuas yog RGB feature, txawm tias tag nrho cov duab lossis cov ntsiab lus ntawm tes thiab lub ntsej muag. Qhov tsis txaus ntawm cov ntaub ntawv rau cov txheej txheem kev cob qhia CSLR hnyav ua rau muaj peev xwm kawm tau ntau yam uas siv cov yeeb yaj kiab tawm tswv yim. Ntxiv mus, siv tag nrho cov thav duab hauv video rau CSLR txoj haujlwm tuaj yeem ua rau muaj kev ua tau zoo tshaj vim tias txhua tus ncej muaj cov ntaub ntawv sib txawv, suav nrog cov yam ntxwv tseem ceeb hauv kev ua suab nrov. Yog li ntawd, peb xav kom cov tshiab spatiotemporal txuas ntxiv cov lus cim npe siv cov kev sib txuas lus zoo sib xws los txhim kho CSLR los ntawm kev muab cov ntsiab lus tseem ceeb ntxiv. Tsis tas li ntawd, peb siv cov xim xim nyob rau hauv lub spatial thiab temporal modules ib txhij hais txog ntau yam tseem ceeb. Kev sim tau los ntawm ob qho CSLR cov ntaub ntawv qhia tau hais tias txoj kev npaj ua tiav tau zoo tshaj plaws hauv kev sib piv nrog cov txheej txheem tam sim no los ntawm 0.76 thiab 20.56 rau WER cov qhab nia ntawm CSL thiab PHOENIX datasets, feem.

Superman tshuaj ntsuab cistanche

Ntsiab lus: Cov lus qhia tas li; spatial; lub cev; multi-feature; cov ntsiab lus tseem ceeb; kev saib xyuas tus kheej

1. Taw qhia

Lus Cim qhia qhov tseem ceeb ntawm kev sib txuas lus siv tes taw, hais lus lub cev, thiab di ncauj txav es tsis txhob siv lub suab sib txuas lus [1,2]. Feem ntau, cov lus piav qhia yog siv los ntawm cov neeg lag ntseg lossis tsis hnov lus, tab sis nws kuj tseem siv tau rau hauv cov xwm txheej uas nws tsis tuaj yeem hnov lus nyuaj. Yog li ntawd, yuav tsum muaj kev lees paub hom lus (SLR) vim nws yuav pab txuas cov neeg tsis hnov lus thiab cov tsis hnov lus.

Nyob rau hauv xyoo tas los no, cov kws tshawb fawb tau tsom mus rau ntau yam ntawm SLR vim tias muaj cov ntaub ntawv zoo nkauj uas nws muab. Cov kev tshawb fawb SLR tsis ntev los no feem ntau yog muab faib ua hom lus cim npe (ISLR) lossis kev paub hom lus tsis tu ncua (CSLR). Ob peb qhov chaw nyob tsuas yog ISLR [3,4], thaum lwm tus tsuas txheeb xyuas cov haujlwm yooj yim dua, xws li kev ua haujlwm zoo li qub rau kev paub cov tsiaj ntawv [5]. Lub caij no, txoj hauv kev tshiab no feem ntau nyuaj dua thaum lawv daws CSLR cov haujlwm [6–8]. Piv nrog rau ISLR, CSLR yog qhov teeb meem nyuaj dua vim nws cuam tshuam nrog kev tsim kho cov kab lus.

Cistanche tshuaj yej

Nyem qhov no mus saib Cistanche deserticola tshuaj yej cov khoom

【Nug ntxiv】 Email: cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Kev tshawb fawb CSLR tseem yog qhov xav tau zoo vim tias nws qhov kev siv tau zoo cuam tshuam nrog cov xwm txheej niaj hnub hauv ntiaj teb tiag. Txoj hauv kev no yog txhawm rau paub txog cov glosses uas tshwm sim hauv cov yeeb yaj kiab uas tsis muaj segmentation meej lossis txawm tsis muaj dab tsi. Tsis tas li ntawd, nws suav nrog ntau yam kev tshawb fawb ntawm tshuab kev kawm thiab kev nkag siab zoo ntawm tib neeg tus cwj pwm. Piv txwv li, nws suav nrog tib neeg kev txav mus los [9], paub piav tes piav taw [10], thiab paub lub ntsej muag [11]. Txawm li cas los xij, muaj ntau qhov kev sib tw rau kev ua haujlwm CSLR.

Ua ntej, sau cov ntaub ntawv thiab cov lus piav qhia yog kim rau CSLR [12]. Qhov no tej zaum yog ib qho ntawm cov teeb meem uas tau ntsib nyob rau hauv nws txoj kev loj hlob txij li thaum CSLR koom nrog hauv lub network loj thiab cov ntaub ntawv muaj zog cuam tshuam rau kev ua haujlwm [13]. Ntxiv mus, ntau cov ntaub ntawv muaj rau cov lus piav qhia tsis muaj zog [12,14,15]. Txhawm rau daws qhov teeb meem no, ntau cov kev tshawb fawb tau siv cov kev saib xyuas tsis muaj zog, nrog rau daim ntawv thov kev sib raug zoo thiab ib qho feature extractor module rau lub network architecture [12].

Qhov thib ob, piv rau ISLR, CSLR yog qhov nyuaj dua. Cov ntaub ntawv txaus yog tau los ntawm kev siv ntau yam nta; qhov no tau raug pov thawj kom ua tiav kev ua tau zoo dua li siv ib qho tshwj xeeb raws li tau tshaj tawm hauv cov haujlwm dhau los [16–18]. Cov yam ntxwv ntau yam no suav nrog cov yam ntxwv tseem ceeb uas yog lub cev duab uas ua tiav qhov tseeb tshaj plaws thiab cov yam ntxwv ntxiv, xws li pose, lub taub hau, sab laug tes, thiab sab tes xis, uas muaj qhov raug qis dua rau ib tus neeg ua haujlwm [17,18]. Kev cob qhia lub network loj nrog cov ntaub ntawv loj yog siv sijhawm [13]. Ntxiv cov kwj tawm kuj nce lub sijhawm kawm, thaum siv cov duab ntxiv raws li tus nqi nce ntxiv [19]. Yog li ntawd, peb yuav tsum xaiv cov yam ntxwv tseem ceeb kom peb thiaj li cob qhia tau zoo.

Suav tshuaj ntsuab cistanche

Thib peb, cov tswv yim video muaj ntau cov duab hauv ib ntus. Qee cov duab muaj lub cev tsis meej vim qhov txav nrawm, tej zaum ua rau cov ntaub ntawv tsis raug. Yog li ntawd, peb cov qauv npaj siv nws tus kheej saib xyuas raws li [20] los pab xaiv cov ntaub ntawv tseem ceeb. Ntxiv mus, kev mloog tus kheej ua pov thawj los ntawm [21,22] muaj kev cuam tshuam rau kev txhim kho kev ua tau zoo.

Yog li ntawd, peb xav kom tus qauv tshiab hu ua qhov tshiab spatiotemporal attentive multi-feature (STAMF) los daws txhua yam teeb meem. Peb tau ua raws li cov haujlwm yav dhau los [17,23], uas tau ua pov thawj ua haujlwm rau CSLR nrog cov teeb meem tsis muaj zog. Lawv tsim cov qauv siv peb lub hauv paus tseem ceeb: thawj zaug yog qhov ntsuas qhov nruab nrab, qhov thib ob yog qhov qauv ntawm lub cev, thiab qhov thib peb yog qhov kev kawm ua ntu zus. Peb thov kom muaj txiaj ntsig zoo thiab muaj txiaj ntsig ntau qhov kev tawm tswv yim uas siv tag nrho cov ncej feature nrog rau cov ntsiab lus tseem ceeb los ua cov haujlwm CSLR. Lub full-frame feature sawv cev rau lub cev duab ua lub ntsiab feature, thiab cov ntsiab lus tseem ceeb raws li qhov ntxiv feature. Lub ntsiab lus tseem ceeb yog lub cev pose, nrog rau kev nthuav dav ntawm tes pose. Lub cev ua haujlwm no yog qhov ua tau zoo tshaj plaws ntxiv txij li hauv qee qhov haujlwm nws tau raug pov thawj kom ua tiav qhov raug siab tshaj plaws tom qab lub ntsej muag puv [17,18]. Peb kuj siv ib qho kev saib xyuas uas siv kev mloog tus kheej raws li [20] los ntes cov yam ntxwv tseem ceeb thiab pab cov kev kawm ua ntu zus los txhim kho kev ua tau zoo.

Qhov kev pab cuam ntawm cov ntawv sau no tau sau tseg raws li hauv qab no: • Peb qhia cov kev mloog tshiab ntawm lub cev mus rau hauv cov kab ke ua ke kom ntes cov ntsiab lus tseem ceeb ntawm lub sijhawm uas ua rau cov khoom siv zaum kawg; • Peb qhia txog ntau qhov tshwj xeeb uas muaj cov yam ntxwv tag nrho los ntawm RGB tus nqi ntawm tus ncej raws li lub ntsiab feature thiab cov ntsiab lus tseem ceeb uas suav nrog lub cev tsim nrog cov tes zoo meej raws li qhov tshwj xeeb ntxiv los txhim kho kev paub txog tus qauv; • Peb siv WER metric los qhia tias peb cov qauv STAMF tau tshaj tawm ua qauv zoo tshaj plaws ntawm ob qho CSLR cov ntaub ntawv ntsuas ntsuas los ntawm kev sim.

Cistanche ntxiv nyob ze kuv- Txhim Kho Nco

2. Cov hauj lwm cuam tshuam

Muaj ntau qhov kev nce qib hauv thev naus laus zis, thiab ntau qhov kev tshawb fawb tau ua tiav ntawm SLR. Cov kev tshawb fawb yav dhau los [24–27] tshawb nrhiav qhov muaj peev xwm ntawm kev siv ISLR uas muaj kev faib rau txhua lo lus. Nyob rau hauv xyoo tas los no, txoj kev kawm sib sib zog nqus tau siv los tshem tawm cov yam ntxwv siv cov kev sib txuas lus sib txuas, xws li 2D [28,29] lossis 3D [30,31], rau lawv qhov pom kev zoo. Feem ntau ntawm kev tshawb fawb thaum ntxov ntawm kev paub hom lus nyob hauv ISLR nrog cov yam ntxwv sib txawv [30–32], xws li RGB, daim duab qhia qhov tob, thiab cov pob txha, uas ua rau muaj kev ua tau zoo dua.

Niaj hnub no, CSLR tau dhau los ua neeg nyiam, txawm hais tias nws tsis tau muab faib kom meej ntawm txhua lo lus. Kev ua haujlwm thaum ntxov siv CNN feature extractor [6,33] thiab HMM [34] los tsim lub hom phiaj ua ntu zus. Qee qhov kev tshawb fawb tsis ntev los no rau CSLR systems [17,23] tau suav nrog peb kauj ruam tseem ceeb hauv kev ua haujlwm ntawm kev paub txog teeb meem. Ua ntej, lawv tau ua qhov spatial feature extraction, ces segmentation nyob rau hauv lub cev, thiab thaum kawg kab lus synthesis nrog ib hom lus [35], los yog lawv siv raws li kev kawm [17,23]. Qhov kev kawm ua ntu no siv Bi-LSTM thiab CTC txhawm rau txhim kho kev sib raug zoo ntawm kev kos npe gloss hauv cov yeeb yaj kiab ua ntu zus. Txawm hais tias nws siv cov lus piav qhia tsis muaj zog uas tsis muaj qhov sib luag hauv video los txhais cov cim glosses, cov kev qhia no tau pom cov txiaj ntsig tau zoo.

Txawm li cas los xij, qhov kev tshawb fawb txog CLSR tsis ntev los no uas tau siv ntau txoj hauv kev [17] siv tsib lub ntsej muag ib txhij. Txoj kev ua kom muaj ntau yam yog hnyav dua piv rau kev siv tsawg dua nta [19]. Txoj hauv kev no tseem tsis tuaj yeem tswj cov suab nrov ntawm cov yeeb yaj kiab ib ntus uas muaj cov ntaub ntawv tsis meej, xws li lub ntsej muag tsis pom kev vim kev txav ceev. Tsis tas li ntawd, kev cia siab rau RNN-raws li kev kawm ua ntu zus tuaj yeem ntsib teeb meem nrog cov ntu ntev thiab tuaj yeem poob lub ntsiab lus thoob ntiaj teb [20].

Cistanche ntxiv nyob ze kuv- Txhim Kho Nco

Cov kev tshawb fawb tam sim no yog txhawm rau txhim kho kev ua tau zoo los ntawm kev ntxiv cov txheej txheem rau kev saib xyuas tus kheej [21,22] uas tuaj yeem ua haujlwm ntev dua los kawm txog lub ntiaj teb cov ntsiab lus. Kev saib xyuas tus kheej yog raws li kev tshawb fawb thaum ntxov [20] uas qhia tias kev mloog tus kheej muaj qhov zoo ntawm kev muaj peev xwm ua tau ntev ntev. Txawm li cas los xij, qhov kev mloog tus kheej no yooj yim dua rau kev kawm ib txoj hauv kev luv dua piv rau txoj kev ntev dua nrog kev vam khom ntev. Hauv CLSR yav dhau los ua haujlwm [21,22] kev saib xyuas tus kheej tuaj yeem pab lub network kom paub cov yam ntxwv zoo dua.

Yog li ntawd, nyob rau hauv daim ntawv no, peb qhia ib tug tshiab spatiotemporal attentive multi-feature qauv. Cov qauv no tau txais txiaj ntsig zoo tshem tawm cov yam ntxwv tseem ceeb thiab kawm cov kab ke zoo dua los ntawm kev muab cov ntaub ntawv tseem ceeb uas siv lub tshuab ua kom pom tus kheej los ntawm ntau qhov tshwj xeeb. Tag nrho cov txheej txheem yog ua nyob rau hauv ib tug kawg-rau-kawg mus kom ze.

3. Txoj Kev Npaj

Tshooj lus no qhia txog cov txheej txheem tseem ceeb ntawm peb cov qauv npaj rau CSLR. Yog li ntawd, peb pib ntu no los ntawm kev piav qhia peb cov qauv kev nthuav dav. Tsis tas li ntawd, peb muab cov ntsiab lus ntau ntxiv txog txhua qhov tseem ceeb, suav nrog cov qauv spatial, lub sijhawm ntawm lub cev, thiab cov kev kawm ua ntu zus. Tsis tas li ntawd, peb kuj piav qhia txog peb qhov kev thov kom mloog zoo los pab tus qauv kawm zoo dua. Thaum kawg, peb tuaj yeem koom ua ke lub hauv paus rau kev cob qhia thiab inferencing rau hauv peb cov qauv npaj.

3.1. Framework Overview

Muab cov tswv yim yees duab, peb cov qauv npaj siab los kwv yees qhov sib thooj kos npe rau hauv kab lus kom raug. Tus thawj module tsim ntau yam spatial nta, xws li tag nrho-ncej thiab cov ntsiab lus tseem ceeb rau txhua T ncej ntawm cov yees duab. Tom qab ntawd, lub temporal module tso cai rau peb rho tawm kev sib raug zoo ntawm lub cev ntawm lub spatial nta ntawm thav duab rau ob kwj dej. Raws li cov kauj ruam kawg, cov spatial thiab sab cev nqaij daim tawv sib txuas tau txuas mus rau bidirectional lub sij hawm luv luv nco (Bi-LSTM) thiab CTC rau kev kawm ua ntu zus thiab inferencing. Tom ntej no, peb piav qhia peb cov khoom tseem ceeb hauv kev nthuav dav ntxiv thiab sib txuas. Lub ntsiab lus ntawm peb qhov kev thov architecture yog qhia hauv daim duab 1.

Daim duab 1. Lub zuag qhia tag nrho ntawm txoj kev npaj muaj peb yam: ib tug spatial module, ib tug temporal module, thiab ib tug sequence kawm module. Lub spatial module ua ntej yuav siv cov duab sib lawv liag kom rho tawm cov qauv zoo li qub thiab tom qab ntawd siv lub temporal module los rho tawm cov yam ntxwv ntawm lub cev. Tom qab ntawd, cov yam ntxwv ntawm lub cev raug xa mus rau qhov kev kawm ua ntu zus los ua cov lus twv ua ntej thiab tsim nws rau hauv kab lus

3.2. Spatial Module

Lub spatial module siv lub ntsej muag tag nrho thiab cov ntsiab lus tseem ceeb, raws li pom hauv daim duab 2. Cov qauv no siv 2D-CNN network architecture ua lub nraub qaum, thiab ResNet50 raug xaiv los ntes ntau yam. ResNet50 muaj txiaj ntsig zoo dua los siv piv rau ResNet architecture tsis ntev los no ntawm lub sijhawm thaum muaj qhov sib piv [36,37]. Lub RGB siv ResNet50 ncaj qha, thaum lub ntsiab lus tseem ceeb yog tau los ntawm HRNet [38] los ntawm cov duab yeeb yaj kiab thiab raug rho tawm siv ResNet50 kom tau txais cov ntsiab lus tseem ceeb.

Daim duab 2. Lub spatial module architecture siv ntau cov kwj tawm tswv yim. RGB kwj raws li lub luag haujlwm puv npo thiab cov ntsiab lus tseem ceeb ntws raws li qhov tseem ceeb.

3.2.1. Full-Frame Feature

Peb siv peb cov kauj ruam ua ntej rau RGB cov ntaub ntawv thiab tom qab ntawd pub peb cov ntaub ntawv rau hauv tus qauv. Tom qab ntawd peb muab lawv ua ib qho kev nkag mus rau hauv peb cov architecture. Daim duab 3 qhia cov duab piv txwv ntawm tus thawj RGB duab ntawm sab laug thiab cov duab cropped ntawm sab xis. Cov duab cropped yog siv raws li cov tswv yim los ntawm tus qauv. Qhov no qhia txog cov kauj ruam ua ntej uas txo qis qhov tseem ceeb ntawm daim duab thiab ua kom pom tseeb ntxiv rau tus neeg kos npe. Qhov kev cog qoob loo no siv txoj hauv kev random cropping los ntawm [12] txhawm rau txhim kho cov ntaub ntawv. Lub fullframe feature yog muab rho tawm los ntawm cov duab cropped rau txhua thav duab hauv ib ntus siv ResNet50.

Daim duab 3. Full-frame feature siv RGB duab, (sab laug duab) yog cov duab qub, thiab (sab xis duab) yog cov duab cropped los kho nrog tus qauv npaj

3.2.2. Cov yam ntxwv tseem ceeb

Peb tau rho tawm cov ntsiab lus tseem ceeb hauv qhov spatial module los ntawm cov ntaub ntawv RGB rau txhua tus ncej hauv cov tswv yim video. Qhov zoo ntawm cov ntsiab lus tseem ceeb muaj lub luag haujlwm tseem ceeb hauv peb cov qauv tsim, yog li peb yuav tsum siv txoj hauv kev zoo, xws li HRNet [38]. Peb ua haujlwm HRNet tau kawm ua ntej [38] los kwv yees tag nrho ntawm 133 lub ntsiab lus tseem ceeb ntawm lub cev, thiab peb siv 27 tawm ntawm 133 cov ntsiab lus tseem ceeb los ntawm nws cov txiaj ntsig. Raws li pom hauv daim duab 4, sab laug yog lub ntsiab lus tseem ceeb ntawm lub cev, thiab sab xis yog xaiv 27 lub ntsiab lus tseem ceeb ntawm lub cev. 27 cov ntsiab lus tseem ceeb no suav nrog dab teg, lub luj tshib, lub xub pwg nyom, caj dab, tes, thiab ntiv tes.

Daim duab 4. Cov ntsiab lus tseem ceeb ntawm PHOENIX-RWTH dataset [33,39], (sab laug duab) rho tawm los ntawm RGB duab, thiab (saib duab sab xis) yog qhov tseem ceeb xaiv siv los ntawm cov qauv npaj.

3.3. Temporal Module

Lub temporal module aims kawm cov ntaub ntawv spatiotemporal los ntawm spatial module. Temporal modules yog tsim los ntawm stacked Temporal Pooling rau txhua tus kwj dej. Raws li pom nyob rau hauv daim duab 5, lub Temporal pooling module muaj ib tug temporal convolution txheej thiab ib tug pooling txheej los rho tawm cov yam ntxwv ntawm sequential inputs.

Figure 5.

Daim duab 5. Temporal module architecture muaj ib pawg 1D-CNN thiab ib txheej txheej sib txuas nrog cov xim xim. Ua hauj lwm nyob rau hauv parallel rau ob qho tib si feature kwj concatenated nyob rau thaum xaus ntawm lub stacked khaubncaws sab nraud povtseg, thiab tsim ib tug tib lub cev ntaj ntsug nrog ib ntu ntev plaub zaug me dua.

Cov tswv yim yog cov npe ntawm spatial multi-features los ntawm theem dhau los. Cov yam ntxwv ntawm lub cev yog tau siv cov txheej txheem ntawm lub cev uas yog ib qho 1D convolutional txheej nrog tib lub tswv yim thiab cov zis ntev, ua raws li los ntawm ib txheej pooling uas txo qhov loj mus rau ib nrab. Kev siv ob txheej txheej txheej ntawm lub cev ntawm lub cev yog qhov kev teeb tsa zoo tshaj plaws, raws li cov haujlwm dhau los [12]. Tom qab txhua qhov kev sib koom ua ke ntawm lub cev, peb kos ib qho kev saib xyuas uas yuav piav qhia meej hauv Tshooj 3.4. Thaum kawg, peb sib txuas cov zis ntawm lub cev ntawm lub cev los ntawm ob lub kwj deg.

3.4. Nco ntsoov Module

Cov vis dis aus muaj ntau lub thav duab uas qee qhov ntawm daim duab yog qee zaum qhov muag plooj. Lub RTWH-PHOENIX dataset [33,39] muaj cov kab nrib pleb ntau dua li cov ntaub ntawv CSL [8,40,41]. Qhov no tshwm sim thaum lub zog ceev dhau, tsim kom pom qhov muag plooj thiab ua rau qhov chaw yuam kev. Cov thav duab no suav tias yog qhov tsis zoo thiab muaj peev xwm ua rau kev txhais lus tsis raug ntawm ob qho tib si RGB thiab cov ntsiab lus tseem ceeb. Daim duab 6 qhia ib qho piv txwv ntawm cov thav duab tsis zoo hauv RTWH-PHOENIX dataset [33]. Txhawm rau daws qhov teeb meem no, peb ntxiv txheej txheej xim.

Daim duab 6. Daim duab qhia txog qhov tsis xws luag ntawm RWTH-PHOENIX dataset [33,39]. Qee cov ntsiab lus tseem ceeb hauv thaj tsam ntawm tes yog nyob rau hauv qhov tsis ncaj ncees lawm vim qhov muag plooj.

Siv CTC algorithm, kev sib dhos ntawm txoj hauv kev nrog rau nws daim ntawv lo yog ua los ntawm kev siv daim ntawv lo dawb thiab tshem tawm cov ntawv rov qab. CTC nyiam kwv yees cov ntawv tsis muaj ntau dua li cov ciam teb gloss thaum nws tsis tuaj yeem paub qhov txawv ntawm qhov ci ci, tab sis tsis muaj cov txiaj ntsig tau ntseeg. Qhov no ua rau lub network siv CTC los tsim cov txiaj ntsig zoo thaum txheeb xyuas, kawm, thiab kwv yees [42,43]. Feem ntau, CTC poob nrhiav cov keyframes, thiab qhov kawg tshwm sim yog qhov kev twv ua ntej ntawm ib qho keyframe uas muaj qhov ua tau zoo ntawm daim ntawv lo los yog daim ntawv tsis muaj ntawv. Yog hais tias lub gloss kwv yees tib daim ntawv lo los yog daim ntawv dawb huv sib law liag, nws ua rau tib cov zis. Txawm li cas los xij, yog tias muaj cov ntawv ntxig ntxig rau ntawm tib daim ntawv lo, txawm tias tsuas muaj ib qho yuam kev, nws ua rau poob ntau dua. Ntawm no qhov sib ntxiv ntawm ib txheej xim pab xaiv qhov tseem ceeb ntawm lub cev ib ntus ua ntej siv rau kev kawm ua ntu zus.

Lub ntsej muag saib siv lub taub hau ntau lub taub hau rau tus kheej [20]. Multi-head module yog siv los khiav ntau qhov sib npaug ntawm cov txheej txheem tib lub sijhawm. Kev mloog ntau lub taub hau khiav ntawm nws tus kheej los tsom mus rau lub sijhawm luv luv lossis kev vam khom mus ntev hauv ib lub taub hau. Txhua qhov tso zis yog ces concatenated linearly thiab hloov mus rau hauv cov duab xav tau.

Ib yam li ntawd, ntau lub taub hau kev saib xyuas tus kheej yuav saib xyuas cov ntaub ntawv los ntawm ntau tus sawv cev subspaces, nyob ntawm keeb kwm ntawm kev soj ntsuam. Rau qhov yooj yim, peb qhia txog cov kev nkag mus raws li X. Kev ua lej, rau tus qauv mloog ib leeg, muab cov tswv yim X t − T ntxiv 1:t=[X t − T plus 1, · · ·, X t ] ∈ RT × N × P, peb subspaces tau txais, uas yog, cov lus nug subspace Q ∈ RN × dq, qhov tseem ceeb subspace K ∈ RN × dk, thiab tus nqi subspace V ∈ RN × dv. Cov txheej txheem kev kawm latent subspace tuaj yeem tsim raws li [20]:

Q=XWQ, K=XWK , V=XWV ,

Tom qab ntawd, scaled dot-product mloog yog siv los xam cov xim tso zis raws li [20]:

Attention(Q, K, V)=so f tmaxQKT/ p dkV,

Tsis tas li ntawd, yog tias peb muaj ntau lub taub hau uas ua raws li ntau tus sawv cev ntawm cov tswv yim, peb tuaj yeem tau txais cov txiaj ntsig muaj txiaj ntsig zoo tib lub sijhawm. Cov kauj ruam kawg yog los sib sau ua ke tag nrho cov taub hau thiab npaj lawv dua los xam cov qhab nia zaum kawg [20]:

MultiHead(Q,K,V)=Concat(head1,...,heads)WO,

taub hau=Attention(Qi,Ki,Vi),

where Qi=XWQ i , Ki=XWVi , and WO ∈ R hd × dmodel. Thaum kawg, nws tuaj yeem xaiv qhov tseem ceeb ntawm cov kab ke ntawm cov yam ntxwv vim tias tsis yog txhua cov ntaub ntawv hauv cov kab ke tseem ceeb.

Raws li pom nyob rau hauv daim duab 7, peb siv cov xim module nyob rau hauv ob peb configurations. Thawj qhov kev saib xyuas yog muab tso rau hauv qhov kawg ntawm lub spatial module, thaum lub sij hawm thib ob thiab thib peb xim modules muab tso rau hauv lub cev ntawm lub cev. Qhov thib ob saib xyuas module hu ua lub cev nqaij daim tawv thaum ntxov, yog muab tso rau tom qab thawj qhov thaiv ntawm lub cev ntawm lub cev hauv lub cev raws li cov tswv yim, qhov thib peb sab cev nqaij daim tawv saib xyuas module, hu ua lub sijhawm ntev ntawm lub cev nqaij daim tawv, muab tso rau tom qab qhov thib ob thaiv ntawm lub cev ntawm lub cev.