Hauv kev kawm tshuab, perceptron yog kev saib xyuas kev kawm algorithm rau binary classifiers. Nws kuj tseem hu ua perceptron. Ib tug binary classifier yog ib txoj haujlwm uas tuaj yeem txiav txim siab seb qhov kev tawm tswv yim, sawv cev los ntawm vector ntawm tus lej, belongs rau qee chav kawm. Qhov no yog hom linear classifier, uas yog, kev faib tawm algorithm uas ua rau nws qhov kev twv ua ntej raws li kev kwv yees ua haujlwm uas sib xyaw ua ke ntawm qhov hnyav nrog lub cim vector.
Nyob rau xyoo tas los no, cov xov tooj cua tsis zoo tau txais kev pom zoo vim muaj kev nce qib hauv kev kawm tob. Tab sis dab tsi yog ib qho khoom siv neural network thiab nws muaj dab tsi?
Meet the Perceptron
Nyob rau hauv tsab xov xwm no, peb yuav saib sai sai ntawm cov khoom siv hluav taws xob neural feem ntau, tom qab ntawd saib ib leeg neuron, thiab thaum kawg (qhov no yog qhov coding) peb yuav coj cov qauv yooj yim tshaj plaws ntawm kev tsim khoom. neuron, perceptron, thiab faib nws cov ntsiab lus rau hauvdav hlau.
Koj puas tau xav paub vim li cas thiaj muaj cov haujlwm uas yooj yim heev rau txhua tus neeg, tab sis nyuaj heev rau cov khoos phis tawj? Artificial Neural Networks (ANN luv luv) tau tshwm sim los ntawm tib neeg lub paj hlwb. Zoo li lawv cov khoom siv roj ntsha, ANNs tau tsim los ntawm cov khoom siv hluav taws xob yooj yim uas ua ke rau hauv daim phiaj loj.
Neural networks yuav tsum kawm
Tsis zoo li cov algorithms ib txwm muaj, neural tes hauj lwm tsis tuaj yeem "programmed" lossis "tuned" ua haujlwm raws li qhov xav tau. Ib yam li tib neeg lub hlwb, lawv yuav tsum kawm kom tiav txoj haujlwm. Hais lus kwv yees, muaj peb txoj kev kawm.
Txoj kev yooj yim tshaj plaws tuaj yeem siv yog tias muaj qhov ntsuas (loj txaus) nrog cov txiaj ntsig paub. Ces kev cob qhia mus zoo li no: txheej txheem ib txheej ntawm cov ntaub ntawv. Sib piv cov txiaj ntsig nrog cov txiaj ntsig paub. Teeb tsa lub network thiab sim dua. Nov yog txoj kev kawm uas peb yuav siv ntawm no.
Kev kawm tsis muaj kev saib xyuas
Pab tau yog tias tsis muaj cov ntaub ntawv xeem muaj thiab yog tias nws tuaj yeem tau txais qee cov nqi ua haujlwm los ntawm tus cwj pwm xav tau. Tus nqi ua haujlwm qhia rau neural network deb npaum li cas los ntawm lub hom phiaj. Lub network tuaj yeem kho nws cov kev txwv ntawm ya, ua haujlwm nrog cov ntaub ntawv tiag.
Kev Kawm Ntxiv
Txoj kev "carrot and stick" method. Yuav siv tau yog tias lub neural network tsim kev ua haujlwm tas mus li. Sij hawm dhau mus, lub network kawm nyiam qhov kev ua yog thiab zam qhov tsis raug.
Okay, tam sim no peb paub me ntsis txogqhov xwm txheej ntawm cov khoom siv hluav taws xob neural, tab sis lawv yog dab tsi? Peb yuav pom dab tsi yog tias peb qhib lub hau thiab saib sab hauv?
Neurons yog lub tsev thaiv ntawm neural networks. Lub ntsiab tseem ceeb ntawm ib qho kev sib txuas neural yog ib qho khoom siv neuron. Tsis tsuas yog lawv muaj npe tom qab lawv cov khoom siv lom neeg, tab sis lawv kuj tau ua qauv raws li tus cwj pwm ntawm cov neurons hauv peb lub hlwb.
Biology vs thev naus laus zis
Ib yam li lub paj hlwb muaj dendrites kom tau txais cov cim, lub cev ntawm tes los ua lawv, thiab ib qho axon xa cov cim rau lwm cov neurons, ib qho khoom siv paj hlwb muaj ntau txoj kev nkag, theem ua, thiab ib qho kev tso zis uas muaj peev xwm. ceg tawm mus rau ntau lwm tus.
Peb puas tuaj yeem ua qee yam muaj txiaj ntsig nrog ib qho kev nkag siab? Muaj ib chav kawm ntawm cov teeb meem uas ib leeg perceptron tuaj yeem daws tau. Xav txog qhov input vector li point coordinates. Rau cov vector nrog n-cov ntsiab lus, qhov taw tes no yuav nyob hauv n-dimensional qhov chaw. Kom yooj yim lub neej (thiab cov cai hauv qab no), cia peb xav tias nws yog 2D. Zoo li ib daim ntawv.
Tom ntej no, xav txog tias peb kos qee cov ntsiab lus random ntawm lub dav hlau no thiab muab faib ua ob pawg los ntawm kos ib txoj kab ncaj nraim hla daim ntawv. Cov kab no faib cov ntsiab lus rau hauv ob pawg, ib qho saum toj thiab ib qho hauv qab kab. Ob lub teeb no ces hu ua linearly sib cais.
Ib qho kev nkag siab, txawm hais tias nws yooj yim npaum li cas, nws tuaj yeem paub qhov kab no nyob qhov twg, thiab thaum nws tau kawm tiav, nws tuaj yeem txiav txim siab seb qhov taw qhia saum toj lossis hauv qab kab no.
Historyinventions
Lub algorithm rau txoj kev no tau tsim nyob rau hauv 1957 ntawm Cornell Aviation Laboratory los ntawm Frank Rosenblatt (feem ntau hu ua nws), nyiaj txiag los ntawm US Office of Naval Research. Lub perceptron tau npaj los ua lub tshuab, tsis yog ib qho kev pab cuam, thiab txawm hais tias nws thawj qhov kev siv yog nyob rau hauv software rau IBM 704, nws tau tom qab siv rau ntawm kev cai tsim kho vajtse raws li "Mark 1 Perceptron". Lub tshuab no tau tsim los rau kev paub txog cov duab: nws muaj 400 photocells random txuas nrog neurons. Cov luj tau encoded nyob rau hauv potentiometers thiab lub luj hloov thaum lub sij hawm kev cob qhia yog ua los ntawm hluav taws xob motors.
Nyob ntawm lub rooj sib tham xov xwm uas tau tuav los ntawm US Navy hauv 1958, Rosenblatt tau hais txog cov perceptron uas ua rau muaj kev sib cav sib ceg ntawm cov tub ntxhais hluas AI zej zog; Raws li Rosenblatt cov lus thov, New York Times tau tshaj tawm tias lub perceptron yog "lub embryonic electronic computer uas Navy xav kom muaj peev xwm taug kev, tham, pom, sau ntawv, tsim nws tus kheej, thiab paub txog nws lub neej."
Kev txhim kho ntxiv
Txawm hais tias lub perceptron pib zoo li cog lus tseg, nws tau ua pov thawj sai heev tias perceptrons tsis tuaj yeem raug cob qhia kom paub txog ntau hom qauv. Qhov no ua rau muaj qhov tsis txaus ntseeg hauv kev tshawb fawb teb nrog perceptron neural networks tau ntau xyoo ua ntej nws tau lees paub tias kev pub-rau pem hauv ntej neural network nrog ob lossis ntau txheej (tseem hu uamultilayer perceptron) muaj ntau lub zog ua ntau dua li ib txheej perceptrons (tseem hu ua ib txheej perceptrons). Ib txheej txheej perceptron tsuas yog muaj peev xwm kawm cov qauv sib cais sib cais. Xyoo 1969, phau ntawv nto moo "Perceptrons" los ntawm Marvin Minsky thiab Seymour Papert tau qhia tias cov chav kawm ntawm tes hauj lwm no tsis tuaj yeem kawm XOR muaj nuj nqi. Txawm li cas los xij, qhov no tsis siv rau cov haujlwm uas tsis yog-linear faib ua haujlwm uas tuaj yeem siv rau hauv ib txheej perceptron.
Kev siv cov haujlwm no txuas ntxiv lub peev xwm ntawm lub perceptron, suav nrog kev siv XOR muaj nuj nqi. Nws feem ntau xav tias (tsis raug) uas lawv kuj tau xav tias qhov txiaj ntsig zoo sib xws yuav tuav rau lub network multilayer perceptron. Txawm li cas los xij, qhov no tsis yog qhov teeb meem, txij li ob qho tib si Minsky thiab Papert twb paub lawm tias multilayer perceptrons muaj peev xwm tsim tau XOR muaj nuj nqi. Peb xyoos tom qab ntawd, Steven Grossberg tau luam tawm cov ntawv xov xwm nthuav tawm cov tes hauj lwm uas muaj peev xwm ua qauv kev ua haujlwm sib txawv, qhov sib txawv ua kom zoo dua qub, thiab XOR ua haujlwm.
Ua haujlwm tau luam tawm xyoo 1972 thiab 1973. Txawm li cas los xij, feem ntau tau saib xyuas Minsky / Cov ntawv nyeem ua rau muaj kev poob qis hauv kev txaus siab thiab kev tshawb fawb nyiaj txiag nrog neural network perceptron. Lwm kaum xyoo dhau los ua ntej kev tshawb fawb neural network tau rov ua dua nyob rau xyoo 1980s.
Ntse
Lub Perceptron Kernel Algorithm tau qhia hauv xyoo 1964 los ntawm Yzerman li al. Mori thiab Rostamizadeh (2013), uas txuas ntxiv cov txiaj ntsig yav dhau los thiab muab cov ciam teb tshiab L1.
Perceptron yog tus qauv yooj yim ntawm cov kab mob lom neeg. Thaum lub complexity ntawm biological neural qauv feem ntau yuav tsum tau kom nkag siab txog tus cwj pwm neural, kev tshawb fawb qhia tau hais tias ib tug perceptron-zoo li linear qauv tuaj yeem ua rau qee tus cwj pwm pom hauv cov neurons tiag.
Tus Perceptron yog ib qho kev faib tawm, yog li nws yuav tsis nkag mus rau hauv lub xeev nrog tag nrho cov tswv yim vectors raug cais tawm yog tias kev cob qhia teeb D tsis yog linearly sib cais, piv txwv li. yog tias cov piv txwv zoo tsis tuaj yeem sib cais los ntawm cov piv txwv tsis zoo los ntawm lub dav hlau. Hauv qhov no, tsis muaj "kwv yees" kev daws teeb meem yuav dhau los ntawm cov txheej txheem kev kawm algorithm, hloov kev kawm yuav ua tsis tiav. Yog li, yog tias qhov sib cais ntawm cov txheej txheem kev cob qhia tsis paub txog qhov tseem ceeb, ib qho ntawm cov kev xaiv hauv qab no yuav tsum tau siv.
Pocket Algorithm
Lub ratchet hnab tshos algorithm daws cov teeb meem kev kawm paub txog kev ruaj ntseg los ntawm kev khaws cov tshuaj zoo tshaj plaws kom deb li deb pom "hauv hnab ris". Lub hnab tshos algorithm ces rov qab cov tshuaj nyob rau hauv lub hnab tshos es tsis yog cov tshuaj zaum kawg. Nws kuj tseem tuaj yeem siv rau cov ntaub ntawv tsis sib cais uas lub hom phiaj yog txhawm rau nrhiav tus perceptron nrog ob peb qhov tsis raug. Txawm li cas los xij, cov kev daws teeb meem zoo li stochastic thiab yog li lub hnab tshos algorithm tsis haum rau lawv.maj mam dhau ntawm kev cob qhia, thiab lawv tsis tau lees paub tias yuav raug kuaj pom ntau ntawm cov kauj ruam kev cob qhia.
Maxover Algorithm
Maxover's algorithm yog "robust" nyob rau hauv qhov kev nkag siab tias nws yuav converge tsis hais qhov kev paub ntawm cov kab sib cais ntawm cov ntaub ntawv teev. Nyob rau hauv cov ntaub ntawv ntawm ib tug linear split, qhov no yuav daws tau qhov teeb meem kev kawm, optionally txawm nrog kev pom kev ruaj ntseg (qhov siab tshaj plaws ntawm cov chav kawm). Rau cov ntaub ntawv tsis sib cais, cov kev daws teeb meem nrog ib qho me me ntawm cov kev faib tsis raug yuav raug xa rov qab. Nyob rau hauv txhua rooj plaub, lub algorithm maj mam mus rau qhov kev daws teeb meem thaum lub sij hawm txoj kev kawm, tsis nco qab lub xeev yav dhau los thiab tsis muaj random jumps. Convergence lies nyob rau hauv lub ntiaj teb no optimality rau sib qhia cov ntaub ntawv teev thiab hauv zos optimality rau cov ntaub ntawv tsis-separable sets.
Voted Perceptron
Tus Pov Thawj Perceptron algorithm yog qhov sib txawv uas siv ntau qhov hnyav perceptrons. Lub algorithm pib ib tug tshiab perceptron txhua lub sij hawm ib qho piv txwv yog misclassified, pib qhov hnyav vector nrog qhov hnyav kawg ntawm lub xeem perceptron. Txhua tus perceptron kuj tseem yuav muab qhov hnyav sib txawv raws li pes tsawg tus piv txwv lawv raug cais ua ntej misclassifying ib qho, thiab thaum kawg cov zis yuav yog qhov hnyav pov npav thoob plaws tag nrho perceptron.
Daim ntawv thov
Nyob rau hauv cov teeb meem sib cais, kev cob qhia perceptron tseem tuaj yeem tsom mus nrhiav qhov kev sib cais loj tshaj plaws ntawm cov chav kawm. Yog li huIb qho kev ruaj ntseg perceptron tuaj yeem txiav txim siab siv cov kev qhia rov qab thiab kev ua kom zoo dua qub xws li Min-Over lossis AdaTron algorithm. AdaTron siv qhov tseeb tias qhov teeb meem sib xyaw ua kom zoo dua qub yog convex. Qhov kev ruaj ntseg zoo perceptron, ua ke nrog cov ntsiav ua kom yuam kev, yog lub hauv paus ntsiab lus ntawm kev txhawb nqa vector tshuab.
lwm yam
Lwm txoj hauv kev los daws cov teeb meem uas tsis yog-linear yam tsis siv ntau txheej yog siv cov kev txiav txim siab dua (sigma-pi block). Hauv hom network no, txhua lub ntsiab lus ntawm cov tswv yim vector yog nthuav tawm los ntawm txhua qhov sib txuas ua ke ntawm cov khoom siv sib npaug (qhov thib ob). Qhov no tuaj yeem txuas ntxiv mus rau n-order network. Lub Perceptron yog ib qho yooj yim heev.
Txawm li cas los xij, nco ntsoov tias qhov kev faib tawm zoo tshaj plaws tsis tas yuav yog ib qho uas qhia meej tag nrho cov ntaub ntawv kev cob qhia. Tseeb tiag, yog tias peb muaj qhov txwv ua ntej tias cov ntaub ntawv los ntawm kev sib npaug ntawm Gaussian kev faib tawm, txoj kab sib cais hauv qhov chaw nkag yog qhov zoo tshaj plaws, thiab cov tshuaj tsis yog linear yog overridden.
Lwm cov txheej txheem kev faib tawm cov txheej txheem suav nrog Winnow, txhawb nqa vector thiab logistic regression. Perceptron yog universal txheej ntawm algorithms.
Lub luag haujlwm tseem ceeb rau kev saib xyuas kev kawm
Kev saib xyuas kev kawm yog ib txoj haujlwm kawm tshuab uas kawm txog kev ua haujlwm uas qhia cov tswv yim rau cov zisraws li cov piv txwv ntawm I/O khub. Lawv infer ib tug feature los ntawm daim ntawv lo qhia cov ntaub ntawv uas muaj xws li ib co piv txwv. Hauv kev saib xyuas kev kawm, txhua qhov piv txwv yog ib khub uas muaj cov khoom siv tswv yim (feem ntau yog vector) thiab cov txiaj ntsig xav tau (tseem hu ua lub teeb liab tswj).
Tus saib xyuas kev kawm algorithm soj ntsuam cov ntaub ntawv qhia kev cob qhia thiab tsim cov haujlwm kwv yees uas tuaj yeem siv los ua piv txwv tshiab. Qhov zoo tshaj plaws scenario yuav tso cai rau lub algorithm kom raug txiav txim siab hauv chav kawm ntawv rau qhov pom tsis pom. Qhov no yuav tsum muaj kev kawm algorithm kom nthuav dav cov ntaub ntawv kawm rau cov xwm txheej tsis pom nyob rau hauv "tsim nyog" txoj kev.
Lub luag haujlwm sib luag hauv tib neeg thiab tsiaj kev puas siab puas ntsws feem ntau hu ua kev kawm tswv yim.
