Back to Question Center
0

Semalt yana bada shawara kan yadda za a yi tare da gogaggen, gizo-gizo da kuma Crawlers

1 answers:

Baya ga ƙirƙirar injiniyar bincike URLs masu kyau, fayil ɗin .htaccess ya sa masu bincike na yanar gizo su cire wasu bots daga samun damar yanar gizon su. Ɗaya hanyar da za a hana toshe wadannan robots ita ce ta hanyar fayil robots.txt. Duk da haka, Ross Barber, Semalt Abokin Ciniki Success Manager, ya bayyana cewa ya ga wasu crawlers ba tare da bin wannan bukata ba. Ɗaya daga cikin hanyoyin mafi kyau shine don amfani da fayil .htaccess don hana su daga yin nazarin abubuwan da ke ciki.

Mene ne waɗannan batu?

Sun kasance nau'ikan software da aka yi amfani da maƙalafan bincike don share sabon abun ciki daga intanet don dalilai na indexing.

Suna yin ayyuka masu zuwa:

  • Ziyarci shafukan yanar gizon da ka haɗu da
  • Duba lambar HTML don kurakurai
  • Suna adana waɗannan shafukan yanar gizo da kake danganta da kuma ganin abin da shafukan yanar gizo ke danganta ga abun ciki naka
  • Suna ba da labarin abin da ke ciki

Duk da haka, wasu batu sunyi mummunan kuma suna bincika shafinka don adiresoshin imel da siffofin da aka saba amfani dashi don aika maka saƙonnin da ba'a so ba ko spam. Sauran ma suna neman tsaro a cikin lambobinka.

Mene ne ake buƙata don toshe masu amfani da yanar gizo?

Kafin yin amfani da fayil na .htaccess, kana buƙatar duba waɗannan abubuwa:

1. Your site dole ne a guje a kan wani Apache uwar garke. Yau, har ma wadanda kamfanonin yanar gizon sun kasance mai kyau a cikin aikin su, ba ka damar shiga fayil ɗin da ake bukata.

2. Ya kamata ku sami damar yin amfani da ku a cikin shafukan yanar gizonku na yanar gizo don ku iya gano abin da bots ke ziyartar shafin yanar gizonku.

Ka lura cewa babu wata hanyar da za ka iya toshe duk bots na haɗari har sai idan ka katange dukansu, har ma wadanda ka yi la'akari su zama masu taimako. Sabobbin batu sukan taso a kowace rana, kuma tsofaffi suna gyaggyarawa. Hanyar mafi mahimmanci ita ce tabbatar da lambarka kuma ta mai da wuya ga buri zuwa spam ku.

Bayyana batu

Ana iya gano takalma a cikin adireshin IP ko kuma daga "Mai amfani da Mai amfani," wanda suke aikawa a cikin masu shiga na HTTP. Alal misali, Google yana amfani da "Googlebot."

Za ka iya buƙatar wannan jerin tare da 302 bots idan ka riga suna da sunan bot ɗin da kake son rufewa ta amfani da .htaccess

Wata hanyar ita ce sauke duk fayilolin log daga uwar garken kuma buɗe su ta amfani da editan rubutu. Sakamakon su a kan uwar garke na iya canzawa bisa tsarin sanyi na uwar garken. Idan ba za ka iya samun su ba, ka nemi taimako daga gidan yanar gizonku.

Idan ka san ko wane shafin da aka ziyarta, ko kuma lokacin ziyarar, yana da sauƙi don zo tare da batu maras so. Kuna iya bincika fayil ɗin log tare da waɗannan sigogi.

Da zarar, kun lura da abin da kuke buƙatar toshe; za ka iya haɗa su a cikin fayil .htaccess. Lura cewa hanawa bot bai isa ya dakatar da shi ba. Zai iya dawowa da sabon IP ko suna.

Yadda za a toshe su

Sauke kwafin fayil na .htaccess. Yi ajiya idan an buƙata.

Hanyar 1: toshe ta IP

Wannan snippet code ta katange bot ta amfani da adireshin IP 197.0.0.1

Saƙo Karyata, Ƙyale

Ba daga 197.0.0.1

Lissafin farko yana nufin cewa uwar garken zai katange duk buƙatun da ya dace da alamu da kuka ƙayyade kuma ya ba da duk wasu.

Lissafin na biyu ya gaya wa uwar garken ya ba da shafi 403: shafi na haramta

Hanyar 2: Gyarawa ta Jami'an Mai amfani

Hanyar mafi sauki ita ce amfani da na'urar rewrite na Apache

RewriteEngine On

sake rubutawa% {HTTP_USER_AGENT} BotUserAgent

sake rubutawa. - [F, L]

Lissafi na farko yana tabbatar da cewa an sake saitin ƙwaƙwalwar ajiya. Layin biyu shine yanayin da doka ta shafi. "F" a layi na 4 ya gaya wa uwar garken ya dawo 403: An haramta shi yayin da "L" yana nufin wannan shine hukuncin ƙarshe .

Zaku iya upload fayil din .htaccess zuwa uwar garken ku kuma sake rubutawa wanda yake da shi. Tare da lokaci, za ku buƙaci sabunta IP ta bot. Idan ka yi kuskure, kawai kaɗa madadin da ka yi.

November 29, 2017
Semalt yana bada shawara kan yadda za a yi tare da gogaggen, gizo-gizo da kuma Crawlers
Reply