Hvad den læser
Mest læser KodyBot sider på de hjemmesider, vores kunder annoncerer for. Den læser også enkelte sider på andre hjemmesider, f.eks. når nogen prøver kody med et domæne på trykody.ai.
Fra hver side læser den det, en annonce skal skrives ud fra: titel, overskrifter, den synlige tekst, billeder og deres alt-tekster, priser, knapper og links. Den logger ikke ind, den udfylder ikke formularer, og den efterlader intet på jeres hjemmeside.
Sådan kender I den
KodyBot præsenterer sig altid med sit navn, så I kan finde den i jeres logfiler. Oftest står der:
KodyBot/1.0 (+https://trykody.ai/bot)Sådan lukker I den ude
Før KodyBot læser sider på jeres domæne, læser den jeres robots.txt, og den læser ingen side, som robots.txt lukker for den. Skriv de her to linjer i robots.txt, så læser den ingen af jeres sider:
User-agent: KodyBot
Disallow: /Vil I kun holde den ude af en del af hjemmesiden, skriver I stien i stedet for skråstregen, f.eks. Disallow: /intern/. Står KodyBot ikke nævnt, følger den reglerne under User-agent: *.
Billederne på en side, vi må læse, henter vi uden at spørge robots.txt om hvert enkelt billede. Svarer jeres server med en serverfejl (statuskode 500 eller derover) eller melder den travlt (statuskode 429), når vi beder om robots.txt, eller svarer den slet ikke, læser vi ingen af jeres sider, heller ikke gennem vores leverandør, før den svarer igen. Svarer den på en anden måde uden at sende filen, f.eks. med 404, fordi filen ikke findes, læser vi jeres sider, som om filen var tom.
En leverandør læser de fleste sider for os
De fleste sider læser vi gennem en leverandør, hvis browsere kan læse flere sider ad gangen. De præsenterer sig ikke som KodyBot, så I kan ikke kende dem på navnet i jeres logfiler.
Det er stadig jeres linjer til KodyBot, der bestemmer. Vi sender kun leverandøren de sider, robots.txt lader KodyBot læse, og vi beder kun leverandøren om en liste over adresserne på jeres domæne, når robots.txt lader KodyBot læse forsiden. Lukker I KodyBot ude, lukker I altså også leverandøren ude, når det er os, der spørger.
Når en kunde annoncerer med jeres side
Sender en af vores kunder annoncer til en side på jeres domæne, tjekker vi den ene side, som regel én gang om dagen: at OpenAI kan nå den, og at kundens måling virker, hvis kunden har sat den op. De to tjek følger ikke linjerne til KodyBot, for kunden har selv valgt at annoncere med siden. De præsenterer sig med KodyBot og ordet destinationstjek eller pixel-tjek. Fra dem gemmer vi kun, hvad tjekket fandt, f.eks. hvad siden svarede, hvilken adresse den endte på, priserne på siden og om målingen sendte noget, men aldrig sidens tekst.
Når vi tjekker links og llms.txt
Når vi gennemgår en kundes hjemmeside teknisk, spørger KodyBot, om de links, der står på kundens sider, stadig virker. Derfor kan den spørge jeres hjemmeside, hvis en kundes side linker til den. Den læser robots.txt først og spørger ikke om en adresse, som robots.txt lukker for KodyBot.
Den spørger med HEAD, så siden ikke bliver sendt. Kun hvis serveren afviser HEAD eller svarer med en fejl, spørger den én gang til med GET, og heller ikke da læser den siden. Den spørger højst én gang i sekundet pr. hjemmeside og venter længere, hvis robots.txt beder om det. Svarer en hjemmeside, at den har travlt (statuskode 429), lader den hjemmesiden være resten af gennemgangen.
Den følger ikke omdirigeringer, logger ikke ind og gemmer intet af sidens indhold, kun svaret: statuskoden, hvor en omdirigering peger hen, og hvornår. Den spørger højst én gang om ugen om det samme link. Ved det tjek præsenterer den sig sådan:
KodyBot/1.0 (+https://trykody.ai/bot; linktjek)På kundens egen hjemmeside læser den også robots.txt for at se, hvad den siger til AI-robotter, og spørger, om filen /llms.txt findes, når robots.txt tillader det. Afviser hjemmesiden KodyBot, når den beder om robots.txt, henter vi filen gennem vores leverandør, men kun for at se, hvad filen siger til AI-robotterne. Derfra gemmer vi kun, hvad robots.txt tillader AI-robotterne, og om llms.txt findes, aldrig filernes tekst.
Når vi tjekker kilder fra AI-svar
Vores kunder måler, hvilke hjemmesider ChatGPT henviser til, når nogen spørger efter det, de laver. Før vi foreslår en kunde at komme med på en af de hjemmesider, tjekker KodyBot, at den findes og har en vej ind for en virksomhed. Derfor kan den besøge jeres hjemmeside, hvis et svar har henvist til den.
Først spørger den med linktjekket ovenfor, om jeres forside og den side, svaret henviste til, svarer. Svarer de, læser den højst fem sider: forsiden, den side, svaret henviste til, og op til tre sider, som jeres egne links viser er for virksomheder, f.eks. en side om at oprette en profil eller en kontaktside til redaktionen.
Den læser robots.txt først og læser ingen side, som robots.txt lukker for KodyBot. Den læser højst én side i sekundet, følger kun omdirigeringer inden for jeres egen hjemmeside, logger ikke ind og udfylder ingen formularer.
En sprogmodel læser teksten og siger, hvad det er for en hjemmeside, og hvordan en virksomhed kan komme med på den. Vi gemmer kun det svar, sidernes adresser og titler og en kort sætning fra den side, der viser vejen ind, aldrig resten af teksten. Vi læser jeres hjemmeside højst én gang om måneden til det formål. Ved det tjek præsenterer den sig sådan:
KodyBot/1.0 (+https://trykody.ai/bot; kildetjek)Når vi foreslår en opgave på kundens hjemmeside
Før vi foreslår en af vores kunder en opgave om kundens egen hjemmeside, f.eks. at rette døde links eller forkorte en beskrivelse, læser KodyBot de sider, opgaven handler om, igen på kundens hjemmeside. Den læser dem også, når kunden går i gang med opgaven. Så bygger vi ikke på en gammel kopi af siderne.
Den læser kun kundens egen hjemmeside og højst ti sider pr. opgave ad gangen. Står et dødt link på siderne, spørger den også, om adressen, linket går til, stadig ikke svarer. Den læser robots.txt først og læser ingen side, som robots.txt lukker for KodyBot.
Den læser højst én side i sekundet, følger kun omdirigeringer inden for hjemmesiden, logger ikke ind og udfylder ingen formularer. Vi gemmer kun det, kunden skal bruge til opgaven, f.eks. ordene på et link og sætningen omkring det, eller den tekst, siden har nu, aldrig resten af siden. Ved det tjek præsenterer den sig sådan:
KodyBot/1.0 (+https://trykody.ai/bot; sidetjek)Nyheder til vores blog
Til vores blog følger vi nogle nyhedssider og nyhedsfeeds, som vi selv har valgt. Dem henter KodyBot uden at spørge robots.txt, men en artikel læser den kun, når robots.txt tillader det.
Spørgsmål
Vil I vide, om vi har læst jeres sider, eller har I andre spørgsmål til KodyBot, så skriv til os på hej@trykody.ai.