StartseiteTeammitglieder online
Regeln und nützliche Hinweise
Neueste Themen
» Das Plauderforum ist zurück!von derforumde Heute um 0:42
» Style-Wechsel funktioniert nicht mehr
von Miho Gestern um 22:34
» Profil in beiträgen nur im blog deaktivieren.
von derforumde Sa 23 Nov 2024 - 16:54
» [Invision] Editor über den Bildrand ziehbar + Schriftgrößenproblem
von Skouliki Mi 20 Nov 2024 - 8:06
» Passwort für meinen Adminbereich vergessen.
von Joost Sa 9 Nov 2024 - 10:13
» [Invision] Signatur wird nicht immer eingefügt
von Skouliki Mo 4 Nov 2024 - 16:33
» [Invision] Schriftgröße Navigationsleiste, Links und Forenbeschreibungen
von Skouliki So 27 Okt 2024 - 13:29
» [Invision] Transparent Logohintergrund/Struktur
von Joost So 27 Okt 2024 - 12:58
» png wird im servimg in ein jpg umgewandelt
von Skouliki Mi 23 Okt 2024 - 20:26
» Passwort Vergessen (SilentHowl)
von Joost Do 17 Okt 2024 - 17:14
» [Invision] Hintergrundbild fixieren
von Skouliki Mo 14 Okt 2024 - 11:30
» Paßwort vergessen
von Joost So 13 Okt 2024 - 17:58
» Anti-Spam-Prüfung
von Hana19 Sa 12 Okt 2024 - 16:59
» Private Nachrichten bleiben im Postausgang hängen
von Skouliki Fr 11 Okt 2024 - 11:11
» [phpBB3] Mittelteil des Forums verschoben
von Eto Mo 7 Okt 2024 - 20:50
» [phpBB3] Farbpalette ändern
von Skouliki Mo 7 Okt 2024 - 10:08
» [Klassische Version] Account löschen
von Joost Sa 5 Okt 2024 - 21:05
» Chatbox einloggen nicht möglich
von Joost So 29 Sep 2024 - 8:01
Beiträge mit den meisten Reaktionen des Monats
» Beitrag von Alastor in [Invision] Transparent Logohintergrund/Struktur ( 2 )
» Beitrag von Agorass in Passwort für meinen Adminbereich vergessen.
( 2 )
» Beitrag von Keks in [phpBB2] Unterforen Nebeneinander
( 1 )
» Beitrag von Alastor in [Invision] Schriftgröße Navigationsleiste, Links und Forenbeschreibungen
( 1 )
robots.txt seiten erlauben
2 verfasser
Seite 1 von 1 • Teilen
robots.txt seiten erlauben
von Drek Mi 5 Dez 2007 - 22:47
14 meiner URL´s von meinen Forum sind in der robots.txt blockiert kann man das aufheben und sie wieder erlauben.
Das sagt er mir unter robots.txt analysieren
PS: Ich habe das bei Google´s Tools für Webmaster gemacht und gesehen.
Das sagt er mir unter robots.txt analysieren
- Spoiler:
- User-agent: Mediapartners-Google
Disallow:
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Disallow: /login.forum
Disallow: /modcp.forum
Disallow: /posting.forum
Disallow: /privmsg.forum
Disallow: /search.forum
Disallow: /memberlist.forum
Disallow: /groupcp.forum
Disallow: /viewonline.forum
Disallow: /profile.forum
Disallow: /faq.forum
User-agent: Alexibot
User-agent: asterias
User-agent: BackDoorBot/1.0
User-agent: Black Hole
User-agent: BlowFish/1.0
User-agent: BotALot
User-agent: BuiltBotTough
User-agent: Bullseye/1.0
User-agent: BunnySlippers
User-agent: Cegbfeieh
User-agent: CheeseBot
User-agent: CherryPicker
User-agent: CherryPickerElite/1.0
User-agent: CherryPickerSE/1.0
User-agent: CopyRightCheck
User-agent: ConveraCrawler
User-agent: cosmos
User-agent: Crescent
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: DISCo Pump 3.1
User-agent: DittoSpyder
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: EroCrawler
User-agent: ExtractorPro
User-agent: Foobot
User-agent: Harvest/1.5
User-agent: hloader
User-agent: httplib
User-agent: humanlinks
User-agent: InfoNaviRobot
User-agent: JennyBot
User-agent: Jetbot
User-agent: Kenjin Spider
User-agent: LexiBot
User-agent: libWeb/clsHTTP
User-agent: LinkextractorPro
User-agent: LinkScan/8.1a Unix
User-agent: LinkWalker
User-agent: lwp-trivial
User-agent: lwp-trivial/1.34
User-agent: Mata Hari
User-agent: Microsoft URL Control - 5.01.4511
User-agent: Microsoft URL Control - 6.00.8169
User-agent: MIIxpc
User-agent: MIIxpc/4.2
User-agent: Mister PiX
User-agent: moget
User-agent: moget/2.1
User-agent: NetAnts
User-agent: NetAttache
User-agent: NetAttache Light 1.1
User-agent: NetMechanic
User-agent: NICErsPRO
User-agent: Offline Explorer
User-agent: Openfind
User-agent: Openfind data gathere
User-agent: ProPowerBot/2.14
User-agent: ProWebWalker
User-agent: psbot
User-agent: QueryN Metasearch
User-agent: RepoMonkey
User-agent: RepoMonkey Bait & Tackle/v1.01
User-agent: RMA
User-agent: SiteSnagger
User-agent: SpankBot
User-agent: spanner
User-agent: SuperBot
User-agent: SuperBot/2.6
User-agent: suzuran
User-agent: Szukacz/1.4
User-agent: Teleport
User-agent: Telesoft
User-agent: The Intraformant
User-agent: TheNomad
User-agent: TightTwatBot
User-agent: Titan
User-agent: toCrawl/UrlDispatcher
User-agent: True_Robot
User-agent: True_Robot/1.0
User-agent: turingos
User-agent: URLy Warning
User-agent: VCI
User-agent: VCI WebViewer VCI WebViewer Win32
User-agent: Web Image Collector
User-agent: WebAuto
User-agent: WebBandit
User-agent: WebBandit/3.50
User-agent: WebCopier
User-agent: webcopy
User-agent: WebEnhancer
User-agent: WebmasterWorldForumBot
User-agent: webmirror
User-agent: WebReaper
User-agent: WebSauger
User-agent: website extractor
User-agent: Website Quester
User-agent: Webster Pro
User-agent: WebStripper
User-agent: WebStripper/2.02
User-agent: WebZip
User-agent: WebZip/4.0
User-agent: Wget
User-agent: Wget/1.5.3
User-agent: Wget/1.6
User-agent: WinHTTrack
User-agent: WWW-Collector-E
User-agent: Xenu's
User-agent: Xenu's Link Sleuth 1.1c
User-agent: Zeus
User-agent: Zeus 32297 Webster Pro V2.9 Win32
User-Agent: MJ12bot
User-agent: HTTrack
User-agent: HTTrack 3.0
User-agent: TurnitinBot
User-agent: QuepasaCreep
Disallow: /
PS: Ich habe das bei Google´s Tools für Webmaster gemacht und gesehen.
Drek- Meister
-
Beiträge : 267
Anmeldedatum : 15.10.07
Re: robots.txt seiten erlauben
von Alex Mi 5 Dez 2007 - 23:20
Hallo!
Du selbst kannst da gar nix dran ändern, weil die rob.txt vom System erstellt wird.
Die blockierten Bereiche sind solche, die von den Suchmaschinen nicht durchsucht werden DÜRFEN, weil sie Adminbereich/Memberbereich sind oder weil der bot da in einer Sackgasse enden würde.
Oder würden Du oder deine Mitglieder es toll finden, wenn man die Inhalte des Mitgliederbereich oder die Einstellungen im Adminbereich bei Google nachlesen könnte? ;-)
Gruß,
Alex
http://tiertreff.com
Du selbst kannst da gar nix dran ändern, weil die rob.txt vom System erstellt wird.
Die blockierten Bereiche sind solche, die von den Suchmaschinen nicht durchsucht werden DÜRFEN, weil sie Adminbereich/Memberbereich sind oder weil der bot da in einer Sackgasse enden würde.
Oder würden Du oder deine Mitglieder es toll finden, wenn man die Inhalte des Mitgliederbereich oder die Einstellungen im Adminbereich bei Google nachlesen könnte? ;-)
Gruß,
Alex
http://tiertreff.com
Alex- Admin a.D.
- Beiträge : 8116
Anmeldedatum : 02.09.07
Ähnliche Themen» Signaturen erlauben
» HTML erlauben
» Farbige Themendarstellung erlauben
» Mehrere Styles Erlauben...
» HTML aktivieren/erlauben
» HTML erlauben
» Farbige Themendarstellung erlauben
» Mehrere Styles Erlauben...
» HTML aktivieren/erlauben
Seite 1 von 1
Befugnisse in diesem Forum
Sie können in diesem Forum nicht antworten
