Ib lub tswv yim, cov ntaub ntawv tshiab, ib qhov project, ib qho kev tshwm sim lossis lwm qhov txiaj ntsig ntawm kev siv kev paub thiab kev txawj ntse yog qhov cuam tshuam thiab nthuav rau cov neeg sau ntawv. Kev txhawb nqa ntaub ntawv tso cai rau koj hloov cov paj laum los ntawm cov kws sau ntawv mus rau ib puag ncig kev sib raug zoo, txiav txim siab qhov tseem ceeb ntawm kev sib raug zoo thiab tsim txoj hauv kev loj hlob.
Kev piav qhia ntawm lub tswv yim
Qhov tshwm sim ntawm kev txawj ntse feem ntau yog tsom mus rau thaj chaw tshwj xeeb ntawm kev thov kom tau txais txiaj ntsig, daws teeb meem kev sib raug zoo, rov ua kom muaj kev sib npaug ntawm thaj chaw, hloov cov txiaj ntsig zoo lossis ntau qhov ntsuas ntawm cov khoom ntawm pej xeem qhov tseem ceeb. Muaj ntau txoj kev xaiv rau cov tswv yim. Qhov nthuav thiab muaj zog tshaj plaws yog cov ntaub ntawv.
Tus sau lub tswv yim tsis yog ib txwm pom zoo rau nws qhov chaw nyob. Qhov tshwm sim ntawm tus sau txoj haujlwm ib txwm muaj cov ntsiab lus tshwj xeeb, uas qhia txog qhov cuam tshuam, qhov tshiab thiab qhov muaj txiaj ntsig zoo.
Kev piav qhia ntawm lub tswv yim siv tau tuaj yeem nthuav tawm raws li qhov ntawdmuab cov ntaub ntawv txhawb nqa - txhawb nqa lub tswv yim hauv kev xav hauv pej xeem. Cov thev naus laus zis rau kev nkag mus rau hauv kev ua lag luam thiab ua haujlwm rau nws rau cov neeg siv khoom tau tsim thiab sim hauv kev xyaum. Kev tuav cov ntaub ntawv xov xwm yog qhov nyuaj.
Ntau ntau tau ua tiav hauv lub ntiaj teb lub computer, tab sis txhua cov ntaub ntawv cov khoom lag luam los ntawm lub sijhawm nws tau siv muab cov hauv paus tshiab rau kev txhim kho ntxiv ntawm thawj lub tswv yim. Tsis tas li ntawd, kev ua haujlwm tau tshwm sim, cov ntaub ntawv ntawm qhov tsis xws luag tau sau, thiab cov neeg siv kev xav tau tsim.
Vim li ntawd, thawj qhov kev piav qhia ntawm lub tswv yim tau hloov kho, uas pib cov txheej txheem ntawm cov khoom lag luam niaj hnub, thiab nws cov ntaub ntawv txhawb nqa tau cuam tshuam dua.
Easy task: parsing
Nrog rau kev txhim kho hauv Is Taws Nem, cov ntaub ntawv ntawm ntau qhov tsis cuam tshuam, tab sis qhov kev txaus siab pom tau tsim nyob rau hauv qhov ntsuas tau zoo. Kev tshawb nrhiav cov ntaub ntawv yog ib txoj haujlwm classic uas yuav tsum tau daws txhua hnub. Ib tug neeg pheej sau, txheeb xyuas thiab txiav txim siab.
Hauv kev nkag siab zoo, thaum tsim nyog los txiav txim siab txog kev tsim khoom lossis teeb meem hauv tsev, ib tus neeg tig mus rau kev tshawb fawb xyaw rau kev pab: Google, Yandex, Rambler, thiab lwm yam.
Web cov chaw muab kev pabcuam xav tau. Muaj ntau xyoo ntawm kev paub, tsim software thiab kho vajtse puag, cov kev pabcuam no tsis xav tau cov ntaub ntawv txhawb nqa, lawv ntseeg siab nyob hauv lawv lub niches hauv kev ua lag luam thiab hauv lub siab ntawm pej xeem. Tab sis cov thawj coj ntawm kev tshawb nrhiav yuav tsum tsis txhob yuam kev. Lawv txoj hauj lwm tsis zoo tag nrho. Cov ntaub ntawv txhawb nqa rau lawv tseem cuam tshuam.
Cov lus nug uas tau tsim muaj feem ntau yuav tau txais cov lus teb zoo, tab sis kev ntseeg siab tsis yog lub hom phiaj ntawm kev tshawb fawb niaj hnub no. Kev lees paub tiag tiag ntawm qhov no yog kev txheeb xyuas ntau ntawm cov kev pabcuam hauv lub vev xaib txhawm rau nrhiav cov ntaub ntawv tsim nyog thiab txhim khu kev qha.
Parsing HTML code yog ib qho yooj yim heev. Hypertext yog cov ntawv nyeem heev heev. Qhov teeb meem yog tias cov ntaub ntawv lees paub ntawm lub vev xaib raug cai haum rau cov lus nug tshawb fawb thiab tau lees tias muab cov ntaub ntawv tsim nyog.
Tab sis! HTML parsing yog ib qho teeb meem tshwm sim ib ntus: tus tswv peev txheej tuaj yeem hloov pauv nplooj HTML thiab qhov kev cais yuav tsum tau sau dua tshiab.
Hard task: ntse parsing
Tsis muaj dab tsi "yooj yim" dua li sau tus kheej tsim lub vev xaib. Ib qho algorithm uas yuav hloov kho thaum lub sijhawm tshawb nrhiav tsis yog ib txoj haujlwm nyuaj. Tib lo lus nug yog yuav ua li cas raws nraim siv recursion, thiab nyob rau hauv dab tsi txwv rau cov txheej txheem HTML nplooj ntawv code. Kev tshawb nrhiav algorithm yuav hloov zuj zus thiab hloov mus rau txhua nplooj ntawv saib thaum lawv hloov pauv.
Cov ntaub ntawv txhawb nqa rau txoj haujlwm ntawm "ntse parsing" tej zaum yuav tsis dhau los ua teeb meem loj, txawm tias tsis muaj peev xwm nyiaj txiag rau lub tuam txhab tshaj tawm. Nws yog txaus los muab ib tug ntse algorithm nrog ib tug txheej ntawm kev txawj ntse los ntawm classical cov ntaub ntawv (cov ntaub ntawv, cov phau ntawv, cov khoom, cov ntaub ntawv tshawb fawb).
Cov menyuam kawm ntawv, cov tub ntxhais kawm thiab cov kws tshawb fawb - lub khw loj heev rau kev tshawb nrhiav haujlwmcov ntaub ntawv txhim khu kev qha. Cov thawj coj ntawm cov txiaj ntsig tshawb fawb tsis txaus siab ntawm no raws li cov txheej txheem ntawm lub hom phiaj thiab kev ntseeg tau. Rau lawv, qhov tseem ceeb tshaj plaws yog qhov ntim, tsis yog qhov zoo ntawm qhov tshwm sim. Cov lus nug banal "Vim li cas Is Taws Nem poob sai li sai tau thaum Proxmox VE tau los ntawm Debian" yuav tsis muaj cov lus teb ntseeg tau hauv Google lossis Yandex.
Pom tseeb, qhov kev tshawb nrhiav thawj zaug tsis tau hais dab tsi txog kev teeb tsa cov khoom, nrhiav qhov twg, thiab nws yog dab tsi.
Yog li, cov ntaub ntawv txhawb nqa ntawm "kev sib cais ntse" yuav tsis yooj yim. Qhov tshaj plaws yog tias cov ntsiab lus "nteg" thiab "ua" yog cov lus siv classic, thiab qhov teeb meem ntawm kev txhim kho Proxmox VE tsis muaj dab tsi cuam tshuam nrog Is Taws Nem sab nraud ntawm lub tshuab virtual no. Tsis yog Google lossis Yandex yuav tsis tuaj yeem "xav". Tus neeg siv yuav tau ua txhaum qhov kev thov rau hauv cov khoom thiab daws qhov teeb meem ntawm lawv tus kheej.
Rau qhov kev lees paub thiab ua tiav ntawm txoj haujlwm "ntse parsing", nws yuav tsim nyog los tsim nws cov ntaub ntawv txhawb nqa hauv txoj hauv kev uas cov neeg siv khoom nkag siab tias "ntse parsing" tiag tiag tuaj yeem "nkag siab" thawj thov thiab rhuav nws mus rau hauv cov khoom tsim nyog.
Qhov tshwm sim ntawm lub tswv yim
Qhov tshwm sim ntawm ib lub tswv yim xov xwm cia li khaws "nrog" cov ntaub ntawv. Koj tuaj yeem siv qhov zoo ntawm qhov no. Cov ntaub ntawv txhawb nqa rau kev siv qhov project "smart parsing" tuaj yeem npaj ua ib feem ntawm qhov project. Yog tias peb tab tom tham txog kev kawm tus kheej algorithm (ib qho algorithm uas nco ntsoov cov lus nug tshawb fawb thiab cov txiaj ntsig tshawb fawb rau kev nthuav dav ntxiv), ces leej twg, yog tias tsis yog.rau ib tug neeg, "qhia lub algorithm" tus cwj pwm raug?
Qhov piv txwv yog qhia nyob rau hauv cov ntsiab lus ntawm "nyob mus ib txhis" txoj haujlwm ntawm kev tshawb nrhiav cov ntaub ntawv. Yog tias peb muab lwm cov ntaub ntawv xov xwm raws li kev tshuaj xyuas, ces kev txhawb nqa cov ntaub ntawv yuav tsum tau teeb tsa sib txawv.
Nyob rau hauv txhua qhov teeb meem, thaum nws los txog rau kev nqa cov ntaub ntawv cov khoom lag luam, ib tus yuav tsum tsom mus rau cov kev sib tham thiab cov xwm txheej classic - kev sib tham, kev nthuav qhia, kev tshaj tawm. Qhov xwm txheej tseem ceeb thiab qhov tseem ceeb ntawm txhua qhov kev sib txuas lus thiab kev txhawb nqa tom ntej yuav yog qhov tseeb thiab ntseeg tau tshaj tawm ntawm kev ua haujlwm thiab lub hom phiaj uas muaj feem cuam tshuam rau kev sib raug zoo.
