AttentionMNIST: Mouse-click Attention Tracking Dataset Rau Kev Sau Ntawv Sau Npe Thiab Sau Ntawv

Ntau tus qauv saib xyuas uas paub txog cov khoom ntawm ib ntu ntawm qhov muag pom tau tshaj tawm cov txiaj ntsig ntawm kev sau tus lej lees paub. Txawm li cas los xij, tsis muaj kev saib xyuas cov ntaub ntawv rau kev sau tus lej lossis cov tsiaj ntawv lees paub. Qhov muaj ntawm cov ntaub ntawv no yuav tso cai rau cov qauv kev saib xyuas raws li kev soj ntsuam hauv kev sib piv rau tib neeg kev ua tau zoo. Peb sau cov nas-nias-nias saib xyuas cov ntaub ntawv los ntawm 382 cov neeg koom sim kom paub txog cov lej sau thiab cov tsiaj ntawv (sab sauv thiab qis) los ntawm cov duab los ntawm cov qauv ua ntu zus. Cov duab los ntawm cov ntaub ntawv ntsuas ntsuas tau nthuav tawm raws li stimuli. Cov ntaub ntawv khaws tseg, hu ua AttentionMNIST, muaj ib ntu ntawm cov qauv (nias nyem) qhov chaw, predicted class label(s) ntawm txhua qhov sampling, thiab lub sij hawm ntawm txhua qhov sampling. Qhov nruab nrab, peb cov neeg tuaj koom saib tsuas yog 12.8% ntawm cov duab rau kev lees paub. Peb nthuav qhia tus qauv hauv paus los kwv yees qhov chaw thiab cov chav kawm (es) tus neeg koom yuav xaiv ntawm qhov piv txwv tom ntej. Thaum raug rau tib yam stimuli thiab kev sim tej yam kev mob raws li peb cov neeg tuaj koom, ib tug heev-cited saib raws li qhov ntxiv dag zog qauv poob ntawm tib neeg efficiency.

Suav cistanchetshuaj ntsuab- Tiv thaiv Alzheimer's Disease cov khoom

Cov qauv kev kawm tshuab (ML) uas paub txog cov khoom ntawm ib ntu ntawm qhov muag pom tau tau txais kev txaus siab nyob rau xyoo tas los no vim lawv qhov scalability thiab efficiency. Ntau yam ntawm cov qauv no, xws li 1–7, tau tshaj tawm cov txiaj ntsig ntawm kev sim ntawm MNIST dataset rau kev sau tus lej lej. Hmoov tsis zoo, tsis muaj cov ntaub ntawv saib xyuas rau MNIST. Qhov no tiv thaiv kev ntsuam xyuas ntawm cov qauv kev saib xyuas hauv kev sib piv rau tib neeg kev ua tau zoo. Peb poob rau hauv qhov sib txawv ntawd los ntawm kev sau cov ntaub ntawv los ntawm cov neeg laus cov neeg koom nrog sim kom paub txog cov lej sau thiab cov tsiaj ntawv los ntawm cov duab los ntawm cov qauv ua ntu zus. Tsis zoo li qhov muag-tsav saib xyuas (emAT), tus neeg koom nrog nyem qhov chaw hauv daim duab uas nws xav pom (ib daim ntawv nas-nias saib xyuas (mcAT)). Tam sim ntawd tom qab ntawd, nws xaiv cov chav kawm uas nws kwv yees tias cov khoom yuav yog raws li nws qhov kev soj ntsuam txog tam sim no. Yog li, ntawm txhua qhov piv txwv, peb cov ntaub ntawv muaj cov duab qhov chaw xaiv, daim ntawv teev npe hauv chav kawm tau kwv yees, thiab lub sijhawm ua txij li ntu kawg los ntawm tus neeg koom. Tom qab txhua daim duab, tus neeg koom nrog tau txais txiaj ntsig raws li nws qhov kev ua tau zoo (qhov tseeb thiab kev ua tau zoo).

Cov txiaj ntsig ntawm cistanche tubulosa-Anti Alzheimer's kab mob

Qhov zoo ntawm mcAT tshaj emAT rau kev sau ntawv tus lej / ntawv nyeem.

(1) nqaij muaj qhov sib txawv ntawm tus kheej thiab tus kheej sib txawv hauv qhov chaw kho, tshwj xeeb tshaj yog rau cov stimuli zoo li qub (duab) 8,9. Yog li yuav tsum muaj ntau cov ntaub ntawv kho qhov muag kom ncav cuag cov ntsiab lus tseem ceeb. mcAT tsis cuam tshuam rau qee qhov chaw ntawm cov suab nrov nrov rau cov ntaub ntawv qhov muag-10. (2) Qhov muag txav tuaj yeem tshwm sim los ntawm ob qho tib si yeem thiab tsis yeem ua haujlwm 11. Txhawm rau pab txhawb kev txiav txim siab ua haujlwm, peb nthuav qhia cov neeg koom nrog lub sijhawm txaus, cov ntsiab lus, thiab cov cim qhia ntxiv, uas tuaj yeem nthuav tawm rau tus qauv ML. (3) Qhov tseeb thiab qhov tseeb ntawm emAT cov ntaub ntawv yog nyob ntawm qhov muag-tracker thaum tib yam ntawm mcAT yog ywj siab ntawm ib qho khoom siv. (4) Nws yog ib qho nyuaj rau synchronize ib lub qhov muag txav nrog nws cov chav kawm xaiv. Txhawm rau kov yeej qhov no, hauv peb qhov xwm txheej, qhov chaw ua piv txwv thiab cov chav kawm raug xaiv hauv tib ntu. (5) Thaum kawg, peb txoj kev tso cai rau kev sau cov ntaub ntawv siv Amazon Mechanical Turk (MTurk), raws li hauv 12,13, uas yog tus nqi- thiab lub sijhawm-zoo, thiab yooj yim rov tsim dua.

Kev koom tes.

Peb sau cov ntaub ntawv mcAT, hu ua AttentionMNIST, siv MTurk los ntawm 382 tus neeg koom, muab nqi zog rau kev lees paub tus lej thiab cov tsiaj ntawv sau tau zoo (sab sauv thiab qis) los ntawm cov duab los ntawm cov qauv sib txuas. Cov duab los ntawm cov ntaub ntawv ntsuas ntsuas (MNIST, EMNIST) tau nthuav tawm raws li kev txhawb nqa. Qhov nruab nrab, 169.1 cov lus teb rau ib chav kawm lej / cov tsiaj ntawv raug kaw. Siv cov ntaub ntawv no, peb qhia cov hauv qab no: • Qhov nruab nrab, cov neeg tuaj koom xav tau 4.2, 4.7, thiab 4.9 cov qauv kom paub txog tus lej, tus lej loj, thiab tus lej me me, uas sib haum rau tsuas yog 11.3%, 13.4%, thiab 13.7% ntawm thaj chaw duab feem. . Kev faib tawm qhov tseeb nce nrog ntau cov qauv. • Ib tus qauv, nthuav tawm raws li cov hauv paus ntsiab lus, tuaj yeem kwv yees cov chav kawm thiab qhov chaw uas tus neeg koom yuav xaiv ntawm qhov piv txwv tom ntej nrog 74.4% thiab 67.7% qhov tseeb raws li qhov nruab nrab ntawm tag nrho cov qauv thiab cov ntaub ntawv. Chav kawm kwv yees qhov tseeb nce thiab qhov chaw kwv yees qhov tseeb txo qis nrog kev nce hauv cov qauv. • Thaum raug cov stimuli thiab tej yam kev mob raws li peb cov neeg koom, ib tug heev-cited reinforcement-raws li recurrent xim qauv (RAM)3 yuav tsum tau 3.7, 8.5, thiab 7.6 cov qauv kom paub ib tug zauv, loj thiab me tsiaj ntawv, uas sib xws rau 8.9% , 21.0%, 18.7% ntawm daim duab cheeb tsam. Lwm cov qauv kev txhawb nqa raws li kev saib xyuas (xws li, 1,2,4,5,7,14) tuaj yeem raug soj ntsuam zoo sib xws hauv kev sib piv rau tib neeg kev ua haujlwm.

Cistanche ntxiv nyob ze kuv-Kev Txhim Kho Kev Nco

Nyem qhov no mus saib Cistanche Txhim Kho Kev Nco thiab Tiv Thaiv Alzheimer's Disease cov khoom

【Nug ntxiv】 Email: cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Lwm yam haujlwm

Cov ntu ntu ntu ntawm nas nyem hauv mcAT yog qhov zoo sib xws rau qhov muag txav scanpath10. mcAT tuaj yeem hloov emAT zoo li lawv muaj kev sib raug zoo 10,12,13,15–17. Ntau hom stimuli tau siv nyob rau hauv kev tshawb fawb mcAT, xws li cov duab ntawm animate thiab inanimate objects10, dluab ntawm ntuj scenes12,13, zoo li qub webpages13, nrhiav nplooj ntawv layouts16, thiab ob daim ntawv teev cov alphanumeric cov hlua rau kev pom kev sib piv17. Txawm li cas los xij, mcAT tsis tau siv rau kev sau ntawv sau tus lej/niam ntawv cov haujlwm lossis kev ntsuam xyuas ntawm cov qauv kev faib tawm raws li kev saib xyuas. mcAT cov kev tshawb fawb tau siv cov yam ntxwv xws li lub sij hawm sib cuag, txheeb ze fixation zaus nyob rau hauv cov cheeb tsam ntawm kev txaus siab (AOIs), txheeb ze ntawm cov kev kawm uas clicked tsawg kawg ib zaug nyob rau hauv ib tug AOI10, tus naj npawb ntawm fixations ib mus sib hais, refixation nyob rau hauv kev sim, nyob rau hauv lub sij hawm, thiab scanpaths17 , fixation maps12,13, AOI and information flow pattern16. Qhov sib lawv liag ntawm lub sij hawm-stamped nyem qhov chaw thiab kwv yees cov ntawv teev npe hauv chav kawm yog cov ntaub ntawv nyoos tsim nyog los ntsuas qhov ua tau zoo thiab raug ntawm cov qauv kev saib xyuas lossis tib neeg hauv kev faib cov dej num. Cov yam ntxwv sib txawv tuaj yeem muab tau los ntawm cov ntaub ntawv no. Peb cov ntaub ntawv mcAT, nrog rau ntau yam txiaj ntsig ntawm cov ntaub ntawv tshawb xyuas qhov muag, ua rau muaj qhov sib txawv tseem ceeb hauv kev tshawb fawb tus qauv hauv AI, ML, thiab lwm qhov chaw. Peb cov ntaub ntawv teev tseg yuav tso cai rau cov qauv kev saib xyuas raws li kev soj ntsuam hauv kev sib piv rau tib neeg kev ua tau zoo. Ntawm lwm yam, qhov no yuav pab txhawb kev txhim kho ntawm cov txiaj ntsig zoo thiab lub sijhawm ntawm lub sijhawm pom kev pom tus cwj pwm uas muaj kev siv dav hauv kev xyaum (saib piv txwv 18–20). Cov hauv paus ntsiab lus qhia kev kho qhov muag tuaj yeem ua qhov kev xav thiab sim siv peb cov ntaub ntawv. Cov hauv paus ntsiab lus ua tiav tuaj yeem nqa mus los tsim cov kab ke rau kev paub txog kev pom lub ntiaj teb tiag tiag uas qhov ua tau zoo yog qhov kev txhawj xeeb tseem ceeb, xws li hauv kev tsav tsheb.

Cov ntaub ntawv

Peb cov ntaub ntawv muaj ib ntu ntawm T ntu rau txhua tus neeg koom. Cov ntaub ntawv los ntawm txhua ntu muaj xws li (1) qhov chaw nyob hauv daim duab nyem los ntawm tus neeg koom (ib nyem hauv daim duab ib ntu), (2) cov chav kawm xaiv los ntawm tus neeg koom, thiab (3) lub sijhawm coj los ntawm cov tus neeg koom los sau npe cov qauv tam sim no (piv txwv li lub sijhawm dhau los ntawm qhov kawg thiab tam sim no nyem hauv daim duab). Tshooj lus no yuav nthuav qhia peb cov txheej txheem sau cov ntaub ntawv suav nrog kev xaiv stimuli, cov neeg koom, kev ua haujlwm pom, kev ua tau zoo, thiab kev lim cov ntaub ntawv.

Stimuli xaiv. Stimuli raug xaiv los ntawm cov duab hauv ob qhov kev ntsuas cov ntaub ntawv: (1)

MNIST21 dataset muaj 70,000 sau cov duab (28 × 28 pixels) ntawm 10 tus lej sau tus lej {0, 1, ..., 9}. (2)

EMNIST22 dataset muaj 145,600 dluab (28 × 28 pixels) ntawm tes sau ntawv Askiv cov tsiaj ntawv loj thiab me, tsim ib tug sib npaug chav kawm ntawv. Tag nrho cov duab tau sau nrog ib qho ntawm 26 chav kawm {a, b, ..., z}. Txawm li cas los xij, daim ntawv loj lossis ntawv me tsis cuam tshuam nrog ib qho duab. Los ntawm txhua pawg, peb xaiv 15 tus lej tsim tau zoo los ntawm MNIST thiab 15 cov tsiaj ntawv zoo tsim txhua tus los ntawm EMNIST cov ntawv loj thiab EMNIST cov ntaub ntawv qis. Ib tus lej lossis cov tsiaj ntawv zoo ib yam li cov qauv ntawm nws chav kawm. Yog li, peb nthuav tawm stimuli los ntawm ib txheej ntawm 15(10 + 26 + 26)=930 cov duab tshwj xeeb, nrog rau 15 dluab ntawm txhua chav kawm 62. Te zoo-tsim 930 cov duab raug xaiv raws li hauv qab no:

Kauj Ruam 1: normalize txhua daim duab siv min-max los ntsuas qhov kev siv ntawm 0 thiab 1.

Kauj Ruam 2: Sau cov duab zoo EMNIST hauv cov ntawv loj lossis ntawv me. Rau txhua chav kawm ntawv cov tsiaj ntawv, cov tsiaj ntawv zoo tsim los ntawm ob qho tib si cov duab loj thiab cov ntawv me raug xaiv thiab sau npe. Lub cosine zoo sib xws ntawm tag nrho cov duab teej tug mus rau hauv chav kawm ntawv nrog rau ob daim ntawv sau npe yog xam. Cov dluab uas nyob saum lub cosine zoo sib xws pib (empirically xaiv raws li 0.8) yog muab cov ntawv loj los yog cov ntawv me.

Kauj Ruam 3: xam qhov nruab nrab ntawm cov duab uas muaj nyob rau hauv txhua chav kawm. Qhov nruab nrab duab ntawm chav kawm yog nws cov qauv. Ib daim duab tsim nyog los ua ib qho kev txhawb nqa yog tias nws cov cosine zoo sib xws nrog cov duab nruab nrab ntawm nws cov chav kawm siab dua qhov kev txiav txim siab qhov pib (0.7 rau MNIST, 0.75 rau EMNIST).

Kauj ruam 4: Ntawm cov duab tsim nyog, 15 cov duab los ntawm txhua chav kawm raug xaiv manually raws li lawv tsim tau zoo npaum li cas. Txhua daim duab, Ameslikas 28 × 28 pixels, raug txo rau 27 × 25 los ntawm kev tshem tawm cov pixels ze ntawm thaj tsam vim lawv tsis muaj qhov sib txawv ntawm qhov sib txawv. Qhov nruab nrab ntawm 15 cov duab no yog xam rau txhua ntawm 62 chav kawm. Peb pom cov duab no txhais li I1, I2, ..., Hauv cov chav kawm n hauv txhua cov ntaub ntawv.

Cov neeg koom nrog.

Tag nrho ntawm 382 tus neeg laus sib txawv tau koom nrog hauv peb txoj kev tshawb fawb. Tsis siv cov txheej txheem xaiv. Ib tus neeg tuaj koom tuaj yeem teb rau ntau cov duab. Rau txhua chav kawm 62, qhov nruab nrab ntawm 169.1 cov lus teb tau raug kaw.

Cov txiaj ntsig ntawm cistanche tubulosa-Anti Alzheimer tus kab mob

Kev pom kev ua haujlwm.

Lub MTurk interface rau peb qhov kev ua haujlwm pom tau pom hauv daim duab 1. Ib daim duab loj ntawm 270 × 250 qhia cov duab uas siv tom qab qis qis txhua lub sijhawm. Cov duab keeb kwm yav dhau thiab cov duab txhawb nqa tau nce ntxiv kaum zaug rau 270 × 250. Qhov nruab nrab ntawm lub canvas yog ua raws li qhov nruab nrab ntawm cov duab. Keeb kwm Keeb Kwm, keeb kwm yav dhau yog txhais tau tias ntawm tag nrho cov duab hauv cov ntaub ntawv los ntawm qhov kev txhawb nqa tau kos. Tom qab thawj ntu, keeb kwm yav dhau yog qhov txhais tau tias ntawm tag nrho cov duab los ntawm cov chav kawm uas tau xaiv los ntawm tus neeg koom nrog hauv ntu kawg. Hauv lub ntiaj teb tiag tiag, cov ntsiab lus ntawm qhov chaw, qhov loj me, thiab kev taw qhia ntawm tus lej lossis cov tsiaj ntawv tau txais los ntawm kev sau ntawv hauv nws cov zej zog, uas ploj lawm ntawm no. Thaum peb qhov kev sim tau ua nrog cov keeb kwm yav dhau los, cov neeg koom feem ntau tau sim qhov chaw ntawm cov duab uas tsis muaj ib feem ntawm cov khoom. Qhov kev coj cwj pwm no tau muaj los ntawm kev nthuav tawm cov duab nruab nrab ntawm cov chav kawm xaiv (es) hauv keeb kwm yav dhau los qis thiab txo qhov loj ntawm tag nrho cov duab MNIST thiab EMNIST los ntawm 28 × 28 pixels rau 27 × 25. Txhua zaus tus neeg koom xaiv qhov chaw nyob hauv daim ntaub los ntawm nias rau ntawm nws, 50 × 50 pixel thaj thaj chaw nyob rau ntawm qhov chaw ntawd los ntawm cov duab stimulus tau tshwm sim. Ib thaj ib zaug nthuav tawm txuas ntxiv mus rau qhov kawg ntu. Tus neeg koom nrog txoj haujlwm muaj peb kauj ruam ntawm txhua ntu t (t=1, ..., T):

Kauj Ruam 1: Nyem qhov twg hauv 270 × 250 canvas los nthuav tawm thaj nws xav ua qauv. Tsuas yog thawj nias tau txais.

Kauj Ruam 2: Pom cov lej / cov tsiaj ntawv los ntawm txhua qhov qauv pom kom deb li deb. Tus neeg tuaj koom tuaj yeem xaiv ntau chav kawm thiab yuav tsum xaiv tsawg kawg ib chav kawm los ntawm cov npe ntawm cov chav kawm uas qhia hauv qab ntawm daim ntaub.

Kauj ruam 3: Nyem "Tom ntej" nyob rau hauv qab ntawm qhov screen mus ntxiv. Txhawm rau txheeb xyuas cov chav kawm kom raug thiab nrawm, tus neeg koom yuav tau xaiv qhov chaw txiav txim siab muab nws cov kev soj ntsuam mus txog ntu ntu tam sim no. Tsis muaj sijhawm txwv rau ib ntu. Txawm li cas los xij, peb txwv tag nrho lub sijhawm rau T ntu ntawm cov duab rau rau feeb. Peb xaiv T=12 raws li cov ntaub ntawv hais txog kev sau ntawv zoo los ntawm kev sau ntawv los yog tiam neeg tau siv tsawg dua 12 glimpses (piv txwv li, RAM3 tuaj yeem paub MNIST tus lej hauv 7 glimpses, DRAW23 tuaj yeem tsim cov lej MNIST hauv 11 glimpses), thiab tib neeg tuaj yeem lees paub cov lej thiab cov tsiaj ntawv sau tau tsawg dua 12 glimpses.

Kev ua tau zoo. Ib qho qhab nia raug muab rau tus neeg koom nrog raws li nws qhov tseeb thiab kev ua tau zoo ntawm tus lej ntawm cov qauv pom. Cia nws yog cov chav kawm uas nws xaiv ntawm txhua ntu t. Kaum, nws qhov qhab nia ntawm t yog:

Daim duab 1. Peb MTurk interface raws li pom los ntawm ib tug neeg koom. Qhov thib ob sampling rau EMNIST cov tsiaj ntawv loj yog qhia.

qhov twg |.| denotes lub cardinality ntawm ib txheej. Tag nrho cov qhab nias tau muab rau hauv T ntu yog h {{0}} T t=1 Pt. Yog li, qhov siab tshaj plaws tuaj yeem tau qhab nia hauv T ntu yog T yog tias nws ib txwm xaiv tsuas yog chav kawm raug. Qhov tsawg kawg nkaus tuaj yeem tau qhab nia hauv T ntu yog xoom yog tias nws ib txwm xaiv cov chav kawm uas tsis suav nrog chav kawm raug. Yog li, 0 Tsawg dua lossis sib npaug rau h Tsawg dua lossis sib npaug T. Sooner tus neeg koom nrog xaiv cov chav kawm raug, qhov siab dua nws qhov qhab nia. Yog li, qhov ntsuas ntsuas no suav nrog kev lees paub qhov tseeb thiab kev ua haujlwm piv txwv. Sim ua kom tau qhov qhab nia siab tshaj plaws los ntawm kev xaiv ib chav kawm los ntawm thawj ntu yuav txaus ntshai vim qhov qhab nia ntawm xoom yuav raug muab tsub yog tias nws tsis yog chav kawm raug, qhov qhab nia siab tshaj xoom yuav tau txais yog tias tus neeg koom nrog xaiv ntau chav kawm ( txawm tag nrho cov chav kawm) uas suav nrog chav kawm raug. Qhov no yuav txhawb kom tus neeg koom nrog teb raws li cov chav kawm uas yuav tshwm sim hauv nws lub siab ntawm txhua ntu. Cov qhab nia tau txais ntawm txhua ntu tsuas yog nthuav tawm thaum ua tiav T ntu kom tsis txhob muab cov lus qhia rau tus neeg koom. Hauv MTurk, cov nyiaj tau los tau txais los ntawm tus neeg koom nrog rau ib daim duab yog proportional rau nws tag nrho cov qhab nia, h.

Cov ntaub ntawv lim.

Yog tias tus neeg koom nrog qhov qhab nia kawg (piv txwv li T-th) ntu ​​rau cov duab txhawb nqa yog xoom, nws cov ntaub ntawv kaw rau daim duab ntawd raug muab pov tseg. Cov ntaub ntawv tseem raug muab pov tseg yog tias tus neeg koom nrog tawm haujlwm tsis tiav. Nrog rau cov txheej txheem kev xaiv no, peb tau txais cov lus teb ntawm 1736 stimuli los ntawm MNIST, 4431 stimuli los ntawm EMNIST uppercase, thiab 4315 stimuli los ntawm EMNIST Lowercase; uas yog, 169.1 cov lus teb rau ib chav kawm ntawm qhov nruab nrab.

Cov qauv thiab cov txheej txheem rau kev siv cov ntaub ntawv

Hauv seem no, peb piav qhia txog kev siv hluav taws xob ntawm cov ntaub ntawv sau los ntawm (4.1) muab cov qauv hauv paus rau kev kwv yees tus cwj pwm ntawm tus neeg koom nrog, thiab (4.2) qhia seb tus qauv kev txhawb nqa uas twb muaj lawm tuaj yeem piv rau tib neeg cov lej / cov tsiaj ntawv lees paub. kev ua tau zoo. Lub hauv paus rau kev kwv yees tus cwj pwm. Tus cwj pwm ntawm txhua ntu t muaj kev xaiv qhov chaw thiab xaiv chav kawm. Txij li cov qauv muaj ntau cov ntaub ntawv sib txawv rau cov neeg soj ntsuam sib txawv, lossis txawm rau tib tus neeg soj ntsuam ntawm lub sijhawm sib txawv 9, kev kwv yees tus cwj pwm ntawm txhua tus neeg koom nrog yog ib qho teeb meem nyuaj. Cia n yog tus naj npawb ntawm cov chav kawm nyob rau hauv ib dataset, tsis yog lub singleton teeb uas muaj cov chav kawm tiag tiag rau cov duab stimulus ntawm t, ct yog cov chav kawm thiab lt yog qhov chaw xaiv los ntawm ib tug neeg koom nyob rau hauv t, ua nws soj ntsuam ntawm t, thiab 1: t qhia cov kab ke 1, 2, ..., t. Txog thaum twg, qhov kev soj ntsuam ntawm tus neeg tuaj koom yog o1:t thiab qhov chaw nws xaiv yog l1:t. Peb tsim cov teeb meem ntawm tus neeg koom nrog kev kwv yees tus cwj pwm raws li hauv qab no: Chav kawm kwv yees kwv yees qhov tshwm sim ntawm i∈ct (i=1, 2, ..., n) muab nws o1:t thiab l1:t, piv txwv li P( i ∈ ct|o1:t, l1:t). Qhov chaw kwv yees kwv yees qhov tshwm sim ntawm lt+1 muab nws o1:t, l1:t thiab ct, piv txwv li P(lt+1|o1:t, l1:t,ct). Chav kawm kwv yees. Txhawm rau kwv yees chav kawm ib tus neeg koom yuav xaiv ntawm ntu t, peb suav qhov tshwm sim uas cov duab txhawb nqa ntawm t yog nyob rau hauv chav kawm kuv tau muab rau cov neeg koom nrog qhov chaw xaiv l1:t thiab cov kev soj ntsuam sib thooj o1:t, raws li hauv qab no:

qhov twg Ii yog lub ntsiab lus ntawm cov duab stimuli (27 × 25) nyob rau hauv chav kawm kuv, I' yog 27 × 25 duab uas muaj o1:t ntawm l1:t, · denotes scalar product, and .denotes Euclidean norm. Tag nrho cov pixel intensity yog tsis-negative. Ntawm txhua ntu t, cov chav kawm k siab tshaj plaws los ntawm kev ntseeg kev faib tawm P(i|o1:t, l1:t) tsim cov chav kawm, ˆct, kwv yees los ntawm peb tus qauv, qhov twg k=|ct|. Kev faib tawm qhov tseeb yog ntsuas siv Jaccard index (JI). JI ntsuas qhov zoo sib xws ntawm ob pawg, X thiab Y, xws li: J(X, Y) {{10}} |X ∩ Y|/|X ∪ Y|. JI yog bounded ntawm 0 thiab 1; yog X=Y, J(X, Y)=1. Ntawm txhua ntu t, qhov tseeb ntawm cov neeg koom nrog yog J (ηt, ct) thaum peb tus qauv yog J (ηt, ˆct). Vim nws tus denominator, JI raug nplua ntau dua li tus naj npawb ntawm cov ntsiab lus hauv qhov kev kwv yees (ct lossis ˆct) uas tsis nyob hauv ηt nce, uas yog cov khoom tsim nyog rau peb rooj plaub. Qhov zoo sib xws ntawm tus neeg koom nrog thiab peb cov qauv kev faib tawm yog ntsuas los ntawm J(ct, ˆct). Peb tus qauv kuj raug soj ntsuam raws li kev xaiv hauv chav kawm thiab qhov tsis lees paub qhov tseeb nrog rau txhua tus neeg koom nrog. Cia st=ct − ct−1 yog cov chav kawm tshiab xaiv thiab rt=ct−1 − ct yog cov chav kawm tsis lees paub los ntawm ib tus neeg koom nrog t. Ib yam li ntawd, ˆst=ˆct − ct−1 yog cov chav kawm tshiab xaiv, thiab ˆrt=ct−1 − ct yog cov chav kawm tsis lees paub los ntawm peb cov qauv ntawm t. Tom qab ntawd tus qauv xaiv cov chav kawm thiab tsis lees paub tuaj yeem muab piv rau tus neeg koom nrog J(st, ˆst) thaum |st| > 0 thiab J(rt, ˆrt) thaum |rt| > 0, raws. Kev kwv yees qhov chaw. Qhov zoo tshaj plaws, kev ntseeg kev faib tawm txhua chav kawm yuav tsum yog unimodal (piv txwv li, ib lub ncov nkaus xwb) thiab nyias Gaussian (piv txwv li, kev sib txawv me me) hauv cov duab qhia tias tus neeg koom nrog ntseeg siab txog chav kawm (xeev) ntawm kev txhawb siab (ib puag ncig). Txawm li cas los xij, raws li pom los ntawm peb cov ntaub ntawv (saib daim duab 2), tus neeg koom nrog feem ntau tsis meej pem ntawm ntau chav kawm, tshwj xeeb tshaj yog thaum pib ob peb ntu. Hauv cov xwm txheej no, nws txoj kev ntseeg kev faib tawm muaj ntau lub ncov lossis yog Gaussian rog. Peb xav tias tus neeg koom nrog lub hom phiaj yog los sib sau ua ke rau ib qho tsis zoo thiab nyias Gaussian, kom ua tiav qhov nws xaiv qhov chaw uas txo qis qhov tshwm sim ntawm txhua chav kawm tshwj tsis yog ib qho. Qhov kev xav no ua rau kev txo qis ntawm qhov tsis paub tseeb ntawm cov chav kawm (ib puag ncig lub xeev) uas yog ib txoj hauv kev paub zoo txog kev coj ua24, suav nrog qhov muag txav 25.

Daim duab 2. Lub sij hawm thiab kev faib cov chav kawm rau txhua tus neeg koom thiab cov kev txhawb nqa uas koom nrog pawg '0', 'a', thiab 'A'.

Te observations at certain locations in a stimulus image can discriminate between certain classes. Te observation at a location l might indicate that the numeral/alphabet belongs to class I and not to class j. Such locations are more salient than others in achieving a participant's goal. To sample such locations, a saliency map, Dij, is computed such that if l is salient, the observation at l is evidence to increase the probability of class I and decrease that of j. Mathematically, Dij = N (., σ ) ∗ g(.), where ∗ is the convolution operator, g(.) is a saliency scoring function, and N (., σ ) is a 5×5 Gaussian kernel with standard deviation σ = 6 to smooth the saliency scores. We denote the set of all saliency maps as D = {Dij: i, j ∈ {1, 2, ..., n}, i �= j}. A location l in a stimulus image is salient for class i with respect to class j if Dij(l)>θ, qhov twg qhov pib θ=0.5 × max(D) yog ib qho kev txiav txim siab scalar kom muaj nuj nqis.

Peb xav txog ob qhov kev ntsuas asymmetric, Kullback-Leibler (KL) kev sib txawv thiab qhov sib txawv, raws li cov neeg sib tw rau txoj haujlwm g. KL divergence Muab ob qho tib si txhais cov duab, Ii thiab Ij, KL divergence KL(Ii, Ij) ntsuas cov ntaub ntawv poob thaum Ij siv los kwv yees Ii. Qhov no yog xam rau txhua pixel k as26: KL(Ii,k,Ij,k)=Ii,k log δ + Ii,k Ij,k + δ, qhov twg Ij,k yog qhov kev siv ntawm kth pixel ntawm Ij, thiab δ yog qhov tsis tu ncua tsis tu ncua. Thaum Ii,k=Ij,k, KL(Ii,k,Ij,k) → 0. Difference Muab ob qho tib si txhais cov duab, Ii thiab Ij, qhov sib txawv rau txhua pixel k yog qhov txawv (Ii,k, Ij,k)=Ii,k − Ij,k. Thaum Ii,k=Ij,k, Dif (Ii,k, Ij,k)=0. Ib tus neeg tuaj koom tsis paub meej txog cov chav kawm, ct, nws tau xaiv ntawm ntu tam sim no. Li no, rau qhov kev kwv yees qhov chaw, peb xav txog tsuas yog cov saliency maps hauv D uas koom nrog cov chav kawm hauv ct. Ib qhov chaw raug kwv yees yog tias nws yog qhov tseem ceeb raws li daim duab qhia kev noj qab haus huv no thiab tsis tau xaiv los ntawm tus neeg koom. Tus, muab o1:t, l1:t thiab ct, qhov chaw lt+1 yog kwv yees li nram no:

qhov twg Ŵ yog txheej ntawm 3-tuples uas muaj qhov kwv yees qhov chaw ˆl, chav kawm nws yog salient rau (i), thiab hais txog qhov twg chav kawm (j). Te qhov chaw tau kwv yees kom raug yog tias muaj �l, i, j� ∈ Ŵ xws li �ˆl − lt+1� < ǫ, I ∈ ct+1 thiab j /∈ ct{{3} }, qhov twg ǫ yog qhov siab tshaj plaws Euclidean nrug nruab nrab ntawm qhov nruab nrab pixel thiab ib qho pixel hauv kev soj ntsuam thaj. Te pseudo code rau qhov kev twv twv qhov chaw muaj nyob rau hauv Algorithm 1. Cov lus piav qhia ntxaws ntawm pseudo-code yog suav nrog hauv Tshooj S1 ntawm cov khoom siv ntxiv. (Te probability tis, P(lt+1|o1:t, l1:t,ct), tej zaum yuav raug xam los ntawm kev xav tias tus qhab nia ntawm qhov chaw tsis nyob hauv Ŵ kom xoom, thiab tom qab ntawd normalizing tus qhab nia ntawm txhua tus. Txawm li cas los xij, qhov tshwm sim no tsis tau siv, raws li Eq. (3) txaus rau lub hom phiaj ntawm daim ntawv no.)

Kev ntsuam xyuas ntawm cov qauv kev saib xyuas.

Raws li tus neeg sawv cev ntawm cov qauv kev saib xyuas, peb xav txog cov qauv uas tau hais rov qab los (RAM)3 uas tshaj tawm cov txiaj ntsig kev sim ntawm MNIST dataset. Cov qauv kev txhawb nqa no ua raws li cov qauv duab thiab txiav txim siab qhov twg yuav coj mus kuaj tom ntej ntawm txhua qhov qauv tam sim, ua kom tsim nyog rau kev ntsuam xyuas siv cov ntaub ntawv sau.

RAM

classifes dluab siv ib theem zuj zus ntawm glimpses. Te tom ntej no qhov chaw yog xaiv stochastically los ntawm ib tug dis tribution parameterized los ntawm ib qhov chaw network. Tus qauv yog kev cob qhia kawg-rau-kawg los ntawm kev ua kom tiav lub hom phiaj hauv qab no3:

qhov twg M yog tus naj npawb ntawm ntu, T yog tus naj npawb ntawm kev soj ntsuam, xi 1: t yog cov kev sib txuas ua ke tau txais los ntawm kev khiav tus neeg sawv cev tam sim no txog kuv ntu, ui t yog qhov kev txiav txim tam sim no, θ yog cov txheej txheem kev qhia, Ri t yog tus nqi zog ntau, bt yog lub hauv paus, thiab π(ui t|xi 1:t; θ ) yog txoj cai. RAM tus cwj pwm tuaj yeem raug muab piv nrog cov neeg koom nrog los ntawm kev sib piv cov duab kos duab tau txais los ntawm qhov sib lawv liag ntawm qhov chaw kwv yees los ntawm RAM thiab cov uas tau xaiv los ntawm cov neeg koom. Daim ntawv qhia fxation yog xam los ntawm kev muab txhua qhov chaw muaj txiaj ntsig sib npaug rau qhov zaus ntawm nws cov kev xaiv, thiab tom qab ntawd normalizing cov txiaj ntsig los tsim kev faib tawm thoob plaws txhua qhov chaw.

Metrics rau kev sib piv fixation maps. Rau metrics piv ob fixation maps, P thiab Q, peb ua tib zoo ua raws li 26. Peb siv peb metrics faib-raws li kev ntsuas: KL divergence (KL), Pearson correlation coefficient (CC), thiab zoo sib xws (SIM), los sib piv qhov kev faib tawm ntawm qhov chaw kuaj. los ntawm tus qauv nrog qhov ntawd los ntawm cov neeg koom nrog raws li sau tseg hauv cov ntaub ntawv khaws tseg.

KL (txhais ua ntej) yog rhiab heev rau xoom qhov tseem ceeb.

CC tuaj yeem ntsuas qhov kev sib raug zoo ntawm ob daim duab qhia chaw as26: CC(P, Q)=σ (P, Q) σ (P)σ (Q), qhov twg σ yog qhov sib txawv lossis sib txawv. Txij li thaum CC yog qhov sib luag, nws tsis tuaj yeem txiav txim siab seb qhov sib txawv ntawm daim duab qhia kev kho yog vim qhov tsis zoo lossis qhov tsis zoo.

SIM ntsuas li 26: SIM(P, Q)=k min(Pk, Qk), qhov twg k Pk=k Qk=1. Zoo li CC, SIM yog symmetrical thiab inherits tib yam drawback. Tsis tas li ntawd, SIM tseem ceeb heev rau qhov tseem ceeb uas ploj lawm thiab rau txim rau kev kwv yees uas tsis suav nrog qhov tseeb hauv av.

Tib neeg thiab tsiaj tshawb fawb.

Lub Tsev Haujlwm Saib Xyuas Kev Ruaj Ntseg ntawm University of Memphis tau txiav txim siab tias txoj kev tshawb fawb no tsis ua raws li Lub Chaw Haujlwm Saib Xyuas Tib Neeg Kev Tshawb Fawb Kev Tiv Thaiv txhais ntawm tib neeg kev tshawb fawb thiab 45 CFR ntu 46 tsis siv. Yog li, txoj kev tshawb no tsis tas yuav tsum tau txais kev pom zoo los yog tshuaj xyuas IRB.

Kev soj ntsuam cov ntaub ntawv tshawb xyuas.

Cov ntaub ntawv khaws cia tuaj yeem pom tau raws li qhov kev faib tawm ntawm cov chaw xaiv (Daim duab 3), cov chav kawm xaiv (Fig. 2), thiab lub sijhawm sib law liag (Fig. 2). Cov kev faib tawm no zoo sib xws rau peb cov ntaub ntawv. Rau txhua tus lej lossis cov tsiaj ntawv, qhov kev faib tawm ntawm qhov chaw xaiv tom qab qhov kawg rov zoo li qhov kev faib tawm ntawm pixel siv ntawm nws chav kawm los ntawm cov ntaub ntawv. Txawm li cas los xij, qhov sib lawv liag ntawm qhov chaw xaiv yog stochastic hauv qhov xwm txheej. Kev faib tawm hauv chav kawm qhia qhov tsis meej pem ntawm pawg nrog cov qauv zoo sib xws hauv thawj ob peb ntu thaum cov neeg koom xaiv ntau chav kawm. Qhov kev tsis meej pem no raug txo nrog ntau qhov piv txwv. Muaj qhov zoo sib xws ntawm qhov kev tsis sib haum xeeb (# cov chav kawm / tag nrho # chav kawm) thiab lub sijhawm ua piv txwv (saib daim duab 4). Yog tias tus naj npawb ntawm cov chav kawm raug xaiv siab (tsawg), lub sijhawm ntawm cov ntu sib law liag yog siab (tsawg). Qhov CC ntawm qhov sib lawv liag ntawm qhov chaw xaiv los ntawm ib tus neeg koom rau hauv chav kawm tsis tseem ceeb (Table 1). Qhov no yuav tsum yog vim muaj qhov sib txawv ntawm qhov sib txawv hauv cov qauv zoo li qub. Qhov nruab nrab tus lej ntawm cov qauv xav tau los ntawm ib tus neeg koom nrog txhawm rau twv kom raug hauv chav kawm yog qhov tsawg heev. Qhov nruab nrab, nws yuav siv sij hawm 4.2, 4.7, thiab 4.9 cov qauv coj mus rau 36, 44.1, thiab 48.1 vib nas this kom raug faib MNIST, EMNIST cov duab loj thiab cov duab me raws li. Cov neeg koom nrog qhov nruab nrab pom tsuas yog 11.3%, 13.4%, thiab 13.7% ntawm cov duab hauv cheeb tsam rau kev faib cov lej, tus tsiaj ntawv loj, thiab cov tsiaj ntawv me kom raug (saib daim duab S2 hauv cov khoom siv ntxiv). Cov txiaj ntsig no qhia txog qhov ua tau zoo ntawm tib neeg qhov kev xav pom qhov system, txawm hais tias ntawm qhov kev daws teeb meem qis dua qhov muag cov ntaub ntawv tab sis muaj suab nrov tsawg thiab hloov pauv. Cov txiaj ntsig empirical no yuav muaj txiaj ntsig zoo rau kev tsim cov qauv kev saib xyuas rau kev siv tiag tiag hauv ntiaj teb. Kev kwv yees kwv yees. Hauv seem no, qhov kev ua tau zoo ntawm peb cov qauv hauv paus yog ntsuas raws li qhov tseeb nws tuaj yeem kwv yees txhua tus neeg koom nrog qhov chaw nyob thiab xaiv chav kawm. Txij li thaum peb cov txiaj ntsig kev sim siv ob qhov kev ua tau zoo tshaj plaws, KL sib txawv, thiab qhov sib txawv, zoo sib xws, cov txiaj ntsig tau tshaj tawm siv qhov sib txawv nkaus xwb, tshwj tsis yog hais tias lwm yam. Chav kawm kwv yees. Cov kev kwv yees hauv chav kawm thiab nws txoj kev ntsuas qhov tseeb tau piav qhia nyob rau hauv ntu "Class prediction". Qhov tseeb ntawm chav kawm twv ua ntej, qhia hauv daim duab 5, suav nrog txhua chav kawm rau txhua qhov qauv. Qhov nruab nrab ntawm chav kawm kwv yees qhov tseeb ntawm tag nrho cov qauv thiab cov ntaub ntawv yog 74.4% (std. dev. 26.5). Cov duab 5a, thiab b qhia tau hais tias cov chav kawm xaiv los ntawm cov neeg koom thiab los ntawm peb cov qauv hauv qab (Eq. 2) yog qhov tsis raug ntawm qhov pib ntu thiab txhim kho nrog cov qauv nce ntxiv. Daim duab 5c qhia tau hais tias, thaum lub sijhawm pib, ob pawg no, ct, thiab ˆct, yog qhov sib txawv heev; zoo sib xws nce nrog nce hauv cov qauv. Tib yam siv rau kev xaiv cov chav kawm tshiab (saib daim duab 5f). Txawm li cas los xij, kev tsis lees paub hauv chav kawm zoo ib yam ntawm cov ntu pib; Qhov zoo sib xws nce ntxiv nrog ntau cov qauv (saib daim duab 5e). Txij li J(st, ˆst)=|(ct ∩ ˆct) − ct−1| |(ct ∪ ˆct) − ct−1| and J(rt, ˆrt)=|ct−1 − (ct ∪ ˆct)| |ct−1 − (ct ∩ ˆct)|, nws tuaj yeem raug xam los ntawm daim duab 5e, f tias ntawm qhov pib ntu, qhov kev sib tshuam ntawm ct−1 thiab ct ∪ ˆct yog me me, qhia tias thawj zaug cov neeg koom thiab peb cov qauv hauv paus. ua ntau yam kev hloov hauv lawv cov chav kawm xaiv ntawm cov ntu sib law liag. Yog li ntawd, thawj zaug, cov txheej txheem xaiv chav kawm yog stochastic heev. Txawm hais tias muaj qee qhov tsis sib xws ntawm cov neeg koom nrog thiab peb cov qauv kev kwv yees hauv chav kawm thaum lub sijhawm pib, cov kev coj cwj pwm zoo sib xws nrog ntau cov qauv. Thaum thawj ob peb ntu (feem ntau 4 txog 7) ntu, qhov tseem ceeb ntawm qhov kev txhawb nqa tau tshwm sim. Qhov no yuav pab xaiv cov chav kawm uas raug hauv cov qauv tom qab, uas ua rau kom qhov tseeb ntawm kev twv ua ntej. Txij li thaum muaj ntau cov chav kawm uas nws txhais tau tias cov qauv zoo sib xws rau qhov pom ntawm qhov kev txhawb nqa thaum pib ob peb ntu, cov txheej txheem xaiv hauv chav kawm yog qhov muaj txiaj ntsig zoo dua, ua rau muaj qhov tsis zoo ntawm cov neeg koom nrog nrog rau peb cov qauv.

Daim duab 3. Kev faib cov chaw ua piv txwv rau txhua tus neeg koom rau txhua chav kawm lej/niam ntawv thiab txhua ntu ntu ntu. Txhua kab sib raug rau ib chav kawm, txhua kab sib raug mus rau qhov piv txwv ntu uas nce ntawm sab laug mus rau sab xis.

Kev kwv yees qhov chaw. Peb lub hauv paus qauv tus qauv (Eq. 3) qhov chaw twv ua ntej qhov tseeb, qhov nruab nrab ntawm tag nrho cov qauv thiab cov ntaub ntawv, yog 67.7% (std. dev. 14.1) (ref. Fig. 5d). Qhov sib txawv ntawm qhov kev kwv yees qhov tseeb yog qhov sib txawv ntawm qhov kev twv ua ntej hauv chav kawm. Txawm li cas los xij, qhov kev piav qhia tseem zoo li qub. Qhov tseeb qhov kev twv ua ntej qhov tseeb yog qhov siab thaum lub sij hawm pib qhov piv txwv vim hais tias thaum lub sij hawm cov ntu no, qhov chaw tseem ceeb heev raug xaiv, tawm hauv qhov chaw tsis tshua muaj kev xaiv rau cov ntu tom qab. Txij li thaum muaj ntau qhov chaw uas tsis tshua muaj siab, lawv cov txheej txheem xaiv tau zoo heev thiab yog li nyuaj rau kwv yees, ua rau txo qis hauv kev kwv yees qhov tseeb nrog kev nce hauv cov qauv. Qhov kev txo qis yog qhov tshwj xeeb rau txhua qhov dataset (ref. Fig. 5d) raws li tus naj npawb ntawm cov chav kawm thiab tus naj npawb ntawm cov chaw tseem ceeb heev pab tau rau kev ntxub ntxaug txawv ntawm cov ntaub ntawv. Qhov qis dua ntawm cov chav kawm thiab qhov chaw muaj kev ntxub ntxaug ntau heev, qhov nrawm dua yuav yog qhov txo qis hauv qhov kev kwv yees qhov tseeb nrog qhov nce hauv cov qauv.

Daim duab 4. (Lef) Errorbar plot of time diference (seconds) nruab nrab ntawm cov qauv sib law liag nyob rau hauv tag nrho cov chav kawm. Tat yog, tus nqi pom ntawm qhov piv txwv ntu t yog lub sijhawm dhau los ntawm tus neeg koom nrog cov clicks hauv duab ntawm t − 1 thiab t. (Txoj Cai) Errorbar zajlus ntawm kev tsis meej pem nruab nrab ntawm txhua chav kawm ntawm txhua ntu. Errorbars qhia std. dev.

Daim duab 5. Kev ntsuam xyuas ntawm peb cov qauv hauv paus (ref. "Pib qhia kev kwv yees tus cwj pwm" Tshooj). (a) Classifcation raug (acc.) ntawm cov neeg koom thiab (b) ntawm peb cov qauv hauv paus nrog cov ntawv tseeb raws li qhov tseeb hauv av. (c) Classifcation zoo sib xws (J(ct, ˆct)), (d) qhov chaw twv kwv yees qhov tseeb, (e) chav kawm tsis lees paub qhov tseeb thiab (f) chav kawm xaiv qhov tseeb ntawm peb cov qauv hauv paus nrog cov neeg koom nrog cov ntaub ntawv raws li qhov tseeb hauv av. Saib "Kev kwv yees tus cwj pwm" ntu kom paub meej.

Table 1. Nruab nrab Pearson correlation coefficient (corr.) rau fxation sequences rau tib chav kawm. Rau ib qho kev txhim kho, kev ncua deb yog Euclidean thiab kev taw qhia yog ntsuas raws li lub hauv paus ntsiab lus nrog rau qhov chaw ntawm stimuli raws li keeb kwm. Std. dev. muaj nyob rau hauv kab lus.

Kev ntsuas ntawm RAM.

Rau txhua chav kawm thiab sampling, fixation maps los ntawm RAM (peb siv lub RAM siv los ntawm github.com/hehefan/Recurrent-Attention-Model) thiab cov ntaub ntawv sau rau tib stimuli nthuav tawm hauv MTurk yog muab piv. Rau kev sib piv ncaj ncees nrog cov neeg tuaj koom, hauv RAM peb kho qhov ntu ntu ntev ntawm T=12, thawj qhov chaw piv txwv ntawm qhov chaw duab, kev soj ntsuam nkag mus rau 5 × 5 thaj nrog rau qhov chaw xaiv ua nws qhov chaw, thiab hloov qhov nqi zog ua haujlwm los ntawm Eq. (1). Te cumulative nqi zog, Rt hauv Eq. (4,) yog hloov los ntawm cov qhab nias t τ=1 Pτ tau los ntawm Eq. (1). Raws li tus neeg koom tuaj yeem xaiv ntau chav kawm ntawm txhua ntu, rau tus qauv RAM, tsis yog kev kwv yees ib chav kawm raws li qhov tshwm sim siab tshaj plaws, peb xav txog qhov muaj txiaj ntsig zoo tshaj plaws ntawm txhua chav kawm raws li qhov pib thiab kwv yees cov chav kawm ct nrog qhov tshwm sim ntau dua. pib. Qhov ct no yog siv rau kev suav cov qhab nia siv Eq. (1). Raws li cov xwm txheej no, RAM xav tau 3.7, 8.5, thiab 7.6 cov qauv kom paub txog MNIST cov lej, tus lej loj, thiab tus lej EMNIST cov tsiaj ntawv qis, uas sib raug rau 8.9%, 21.0%, 18.7% ntawm thaj chaw duab feem. Yog li, piv rau peb cov neeg koom (ref. "Cov ntaub ntawv tsom xam" ntu), RAM tsawg dua. Saib Table 2. Cov txiaj ntsig tau los ntawm kev sib piv cov phiaj xwm fixation los ntawm RAM thiab cov ntaub ntawv khaws tseg tau qhia hauv Table 3. KL siab dua vim nws qhov rhiab heev rau xoom qhov tseem ceeb. Qhov no txhais tau hais tias ntau qhov chaw raug kuaj los ntawm cov neeg koom tab sis tsis yog los ntawm RAM. Cov kev sim no tuaj yeem siv los ua ib qho hauv paus rau kev ntsuas qhov chaw ua piv txwv los ntawm tus qauv saib xyuas.

cistanche cov txiaj ntsig - Txhim kho Memory

Kev sib tham

Lub mcAT paradigm, raws li siv nyob rau hauv daim ntawv no, muaj qee cov ntsiab lus ntawm qhov sib txawv ntawm cov uas feem ntau vam khom lub qhov muag txav thiab gazes los kawm txog cov txheej txheem ntawm kev paub txog cov khoom. Nyob rau yav tas los, qhov tseem ceeb ntawm qhov chaw nyiam ua ntej, ua raws li qhov muag saccadic taw qhia qhov muag ntsia mus rau qhov chaw tseem ceeb27. Gaze yog tsav los ntawm cov teeb liab hauv qab thiab saum toj-down uas, ua ke nrog cov ntaub ntawv salience, tsim daim ntawv qhia tseem ceeb uas coj lub qhov muag txav rau kev paub txog cov khoom. Txij li cov neeg koom nrog hauv txoj kev tshawb fawb tam sim no tau saib cov duab zoo li qub nyob rau hauv kev saib dawb thiab nrog lub sijhawm txaus ntawm tes (rau feeb rau T=12 samplings), lawv yuav koom nrog ntau lub qhov muag saccadic taw lossis pom qhov laj thawj28 los tshawb nrhiav daim duab ua ntej nyem rau ntawm AOI. Cov kev txav qhov muag no tuaj yeem raug ntes hauv emAT (siv lub qhov muag tracker) tab sis tsis nyob hauv mcAT. Txawm li cas los xij, cov kev taw qhia qhov muag no cuam tshuam los ntawm kev xav wandering. Thaum mcAT tseem cuam tshuam los ntawm lub siab wandering29, cov txiaj ntsig yuav raug txo qis thaum twg cov neeg tuaj koom teb tom qab pom qhov laj thawj. Txij li thaum lub qhov muag txav mus rau qhov kev txhawb nqa tau cuam tshuam los ntawm txoj haujlwm ntawm tes 30, cov neeg koom nrog cov qauv kev txav ntawm qhov muag yuav cuam tshuam los ntawm txoj haujlwm peb-kauj ruam ntawm txhua qhov piv txwv (ref. "Visual task" seem). Yog tias siv lub qhov muag tracker, cov neeg koom lub qhov muag txav los tshawb txog cov qauv yuav tau sib xyaw nrog lub qhov muag txav los nyem lawv cov chav kawm xaiv, uas yuav ua rau nyuaj rau kev txhais lus ntawm kev tshawb nrhiav qhov muag ntawm tus qauv. Nyem rau cov chav kawm (es) yog ib kauj ruam tsim nyog raws li nws qhia, txawm hais tias introspectively, cov chav kawm kwv yees (es) hauv siab ntawm tus neeg koom. Nws yog qhov zoo li qhov ntsia tam sim ntawd ua ntej thiab tom qab AOI xaiv-tej zaum kuj tau pab los ntawm kev kho qhov muag txav 31- tau pab ntau tshaj plaws rau kev paub txog cov lej / cov tsiaj ntawv. Tseeb tiag, peb xav tias cov neeg koom tau xaiv qhov chaw kuaj mob ntawm daim duab kom paub qhov txawv ntawm cov chav kawm, thiab cov cheeb tsam no yuav muaj qhov sib xyaw ntawm cov hauv qab-up (xws li, pom qhov sib txawv) thiab saum-down (tus lej / tus lej qauv) cov ntaub ntawv kuaj mob. Qhov no yog ua raws li peb qhov kev tshawb pom tias cov neeg tuaj koom sai sai (hauv 5 qhov piv txwv ntawm qhov nruab nrab) txawv ntawm cov chav kawm stimulus ostensibly los ntawm kev xaiv thaj chaw kuaj mob.

Table 2. Kev sib piv ntawm kev ua tau zoo ntawm peb cov neeg koom nrog RAM tus qauv hais txog qhov nruab nrab ntawm cov qauv uas xav tau kom paub txog tus lej / cov tsiaj ntawv. Qhov feem pua ​​​​ntawm cov duab cheeb tsam pom muaj nyob rau hauv cov kab lus.

Table 3. Kev ntsuam xyuas ntawm fixation maps los ntawm RAM rau cov stimuli nthuav tawm nyob rau hauv MTurk thwmsim nruab nrab ntawm tag nrho cov chav kawm thiab samplings. Std. dev. muaj nyob rau hauv kab lus.

Cov lus xaus

Peb tau tshaj tawm cov ntaub ntawv mcAT rau kev lees paub cov lej thiab cov tsiaj ntawv sau los ntawm cov qauv ua ntu zus. Cov ntaub ntawv yog sau los ntawm 382 tus neeg koom nrog nthuav tawm cov duab xaiv los ntawm cov ntaub ntawv ntsuas ntsuas (MNIST, EMNIST). Qhov nruab nrab, 169.1 cov lus teb rau ib chav kawm lej / cov tsiaj ntawv raug kaw. Cov ntaub ntawv raug tshuaj xyuas nruj me ntsis los qhia qhov ua tau zoo ntawm tib neeg kev pom kev pom. Cov neeg koom pom tsuas yog 12.8% ntawm cov duab rau kev lees paub. Peb tau tshaj tawm cov qauv hauv paus los kwv yees qhov chaw nyob thiab cov chav kawm uas tus neeg koom yuav xaiv ntawm qhov piv txwv tom ntej. Peb tau pom tias peb qhov kev sim thiab cov ntaub ntawv yuav raug siv li cas los ntsuas tus qauv kev txhawb nqa raws li kev xav hauv kev sib piv rau tib neeg kev ua tau zoo. Cov ntaub ntawv mcAT no, nrog rau ntau yam txiaj ntsig ntawm qhov muag saib cov ntaub ntawv, ua kom muaj qhov sib txawv tseem ceeb hauv kev saib xyuas tus qauv hauv AI, ML, thiab lwm qhov chaw.

Cov ntaub ntawv

1. Ranzato, MA Ntawm kev kawm saib qhov twg. arXiv: 1405.5488, (2014).

2. Ba, J., Salakhutdinov, RR, Grosse, RB, & Frey, BJ Learning wake-pw tsaug recurrent care model. In NIPS, 2593–2601 (2015).

3. Mnih, V. et al. Recurrent qauv ntawm kev pom kev pom. In NIPS, 2204–2212 (2014).

4. Ba, J., Mnih, V., & Kavukcuoglu, K. Ntau yam khoom lees paub nrog qhov muag pom. arXiv: 1412.7755 (2014).

5. Dutta, JK & Banerjee, B. Kev hloov pauv hauv kev faib tawm qhov tseeb nrog tus lej ntawm qhov pom. Hauv IJCNN, 447–453 (IEEE, 2017).

6. Larochelle, H. & Hinton, GE Kev Kawm los ua ke foveal glimpses nrog lub tshuab thib peb Boltzmann. In NIPS, 1243–1251 (2010).

7. Elsayed, G., Kornblith, S. & Le, QV Saccader: Txhim kho qhov tseeb ntawm cov qauv nyuaj rau kev pom. In NIPS, 702–714 (2019).

8. van Beers, RJ Te qhov chaw ntawm kev hloov pauv hauv qhov muag saccadic. J. Neeb. 27(33), 8757–8770 (2007).

9. Itti, L. & Baldi, P. Bayesian surprises neeg nyiam. Vis. Res. 49(10), 1295–1306 (2009).

10. Egner, S. et al. Kev saib xyuas thiab kev nrhiav tau cov ntaub ntawv: Kev sib piv ntawm nas-nias nrog lub qhov muag-kev txav siab saib xyuas. J. Eye Mov. Res. 11 (6), (2018).

11. Peterson, MS, Kramer, AF & Irwin, DE Covert hloov kev saib xyuas ua ntej qhov muag tsis pom kev. Kev nkag siab. Psychophys. 66(3), 398–405 (2004).

12. Jiang, M., et al. Silicon: Saliency hauv cov ntsiab lus. CVPR, 1072–1080 (2015).

13. Kim WS, et al. BubbleView: Ib qho kev sib txuas rau cov neeg coob coob ntawm cov duab kos duab tseem ceeb thiab taug qab qhov pom kev pom. ACM Trans. Tshuab xam zauv. Hum. Sib tham sib. 24(5), 1–40 (2017).

14. Sermanet, P., Frome, A. & Real, E. Ceev faj rau kev nplua-grained categorization. arXiv: 1412.7054 (2014).

15. Egner, S., Itti, L. & Scheier, C. Sib piv cov qauv saib nrog ntau hom kev coj cwj pwm cov ntaub ntawv. Tshawb xyuas. Ophthalmol. Vis. Sci. 41(4), S39 (2000).

16. Navalpakkam, V. et al. Kev ntsuas thiab ua qauv ntawm qhov muag-nas tus cwj pwm nyob rau hauv lub xub ntiag ntawm nonlinear nplooj layouts. Hauv Proc. Int. Conf. WWW, 953–964 (2013).

17. Matzen, LE, Stites, MC & Gastelum, ZN Kawm pom kev tshawb nrhiav yam tsis muaj qhov muag tracker: Kev ntsuam xyuas ntawm cov foveation. Cogn. Res. Princ. Implic. 6(1), 1–22 (2021).

18. Tafi, AP et al. OCR ua ib qho kev pabcuam: Kev sim ntsuas ntawm Google Docs OCR, Tesseract, ABBYY FineReader, thiab Transym. Hauv Int. Symp. Vis. Comput., 735–746 (Springer, 2016).

19. Memon, J., Sami, M., Khan, RA & Uddin, M. Handwritten optical character recognition (OCR): Kev tshuaj xyuas cov ntaub ntawv sau ua ke (SLR). IEEE Access 8, 142642–142668 (2020).

20. Chaudhuri, A., Mandaviya, K., Badelia, P. & Ghosh, SK Optical character recognition systems. Hauv Optical Character Recognition Systems for Different Languages ​​with Sof Computing, 9–41 (Springer, 2017).

21. LeCun, Y. et al. Gradient-based kev kawm tau siv rau kev lees paub cov ntaub ntawv. Proc. IEEE 86(11), 2278–2324 (1998).

22. Cohen, G., Afshar, S., Tapson, J. & van Schaik, A. EMNIST: Ib qho txuas ntxiv ntawm MNIST rau cov ntawv sau tes. arXiv: 1702.05373, (2017).

23. Gregor, K., Danihelka, I., Graves, A., Rezende, D. & Wierstra, D. DRAW: Ib qho kev sib txuas ntawm neural rau cov duab tsim. ICML, 1462–1471 (2015).

24. Friston, K. Te free-zog lub hauv paus ntsiab lus: Ib qho kev qhia ntxhib rau lub hlwb?. Trends Cogn. Sci. 13(7), 293–301 (2009).

25. Mirza, MB, Adams, RA, Friston, K. & Parr, T. Qhia txog Bayesian qauv ntawm kev xaiv xim raws li kev xav tau. Sci. Rep. 9(1), 1–22 (2019).

26. Bylinskii, Z., Judd, T., Oliva, A., Torralba, A. & Durand, F. Cov kev ntsuas ntsuas sib txawv qhia peb txog cov qauv zoo li cas? IEEE Trans. Qauv Anal. Mach. Intell. 41(3), 740–757 (2018).

27. Itti, L. & Koch, C. Kev ua qauv ntawm kev pom kev pom. Nat. Rev. Neurosci. 2(3), 194–203 (2001).

28. Lamme, VAF Visual functions generating conscious pom. Pem hauv ntej. Psychol., 11, (2020).

29. da Silva, MRD & Postma, M. Wandering minds, wandering nas: Computer nas tracking as a method to detect mind wandering. Tshuab xam zauv. Hum. Behav. 112, 106453 (2020).

30. Schütz, AC, Braun, DI & Gegenfurtner, KR Qhov muag taw thiab kev nkag siab: Kev xaiv xaiv. J. Vis. 11(5), 9–9 (2011).

31. Intoy, J. & Rucci, M. Finely tuned qhov muag taw txhim khu kev pom kev. Nat. Pawg. 11(1), 1–11 (2020).