Hundetrening.no: Hvordan lære inn signaler?

Diskussionen om hur det är mest effektivt att lära in signaler fortsätter. Här kommer vårt svar på Mortens inlägg från den 6 juni. När Kathy Sdao var i Norge väcktes diskussionen på nytt eftersom hon höll med oss om att det nog är smartast att lägga på signalen precis innan beteendet, istället för att ge signalen samtidigt som beteendet utförs. Det här kan verka som en ganska obetydlig fråga, men för mig väcker den många intressanta funderingar. Dels är det en teoretisk diskussion. Var går gränsen mellan klassisk och operant inlärning? Har ordningsföljden betydelse i operant inlärning? Vad är en signal? Vad innebär signalkontroll? Det är också en fråga om effektivitet i träningen. Hur får vi hundar att lära sig signaler på snabbast möjliga sätt? Min erfarenhet är att det här är en av de största stötestenarna för nya klickertränare. För det tredje handlar det också om hur vi ser på hundar och träning. Kan vi utgå ifrån att hunden vill utföra beteendet och att hunden vill ha sin belöning? Eller tror vi att hunden helst inte vill göra det alls?

Själva har vi provat båda modellerna. Vi håller oss inte till en modell för att vi alltid har gjort så och det alltid har fungerat. Tvärtom är det så att vi letar efter det mest effektiva sättet att lära in signaler och när vi kombinerar teoretisk kunskap med praktiska erfarenheter, så framstår det som både mer logiskt och mer effektivt att ge signalen innan hunden utför beteendet.

Vad är en signal?
Jag hittade ett citat på nätet (länk) som jag tycker beskriver signalkontroll på ett bra sätt. ”Stimulus control is all about us learning to pay attention to, and eventually responding differentially to, things we perceive in the environment (stimuli) that give us information about the effectiveness our behavior: what behavior is likely to be effective, the conditions under which it will be effective, and what we are likely to get for it.”

Inlärning av signaler är inget hokus pokus. Hunden lär sig att det lönar sig att sätta sig om han har hör ordet ”sitt”. Han lär sig också att det lönar sig att vänta på ordet ”sitt” innan man sätter sig och att det inte lönar sig att sätta sig om han hör andra signaler. Signalen är information till hunden. Vi kan inte hitta något mer vetenskapligt sätt att säga det på, och jag tror att de flesta forskare hade varit nöjda med den definitionen.

Signalinlärning – Klassisk eller operant betingning?
Vi är alla överens om att signalinlärning inte är klassisk betingning. Signalkontroll är snarare en av grundstenarna i operant betingning. Den klassiska formeln för operant betingning ser ut så här: Stimulus (signal) -> Beteende -> Konsekvens (belöning eller straff). Självklart kommer alltid klassisk betingning med i bilden när vi tränar praktiskt. Belöningen är inte bara förstärkning för operanta beteenden, den är också en obetingad stimulus som kommer att associeras med stimuli som presenteras innan belöningen. En positiv förstärkare är alltid också en appetativ (lustfylld) obetingad stimulus.

Operant inlärning
”Sitt” -> Hunden sätter sig -> Godbit
Hunden kommer att sätta sig oftare när han hör ordet ”sitt” eftersom sättandet följs av en trevlig konsekvens.

Klassisk inlärning
”Sitt” (neutral stimulus) -> Godbit (obetingad stimulus) -> Stimulering av belöningssystem i hjärnan (obetingad respons)
Efter flera upprepningar blir ”sitt” en betingad stimulus som på egen hand kan utlösa goda känslor (betingad respons).

Det vi kan konstatera här är att det i alla fall är bortkastat att säga ”sitt” samtidigt som eller efter att hunden har fått sin belöning (vilket ibland, konstigt nog förespråkas). Så länge ordet ”sitt” händer innan belöningen, kommer klassisk betingning att ske. För mest effektiv klassisk betingning, bör i så fall ordet ”sitt” alltid följas av en belöning, men vi skulle vilja påstå att den klassiska betingningen sker effektivt även om ordet inte alltid följs av en belöning och att den operanta betingningen spelar mycket större roll när vi jobbar med signalkontroll. För egen del upplever vi nämnligen att det är enkelt att få en glädjereaktion från hunden på en signal, men att det är svårare att få hunden att verkligen hantera signaler som viktig information (skilja mellan signaler och utföra rätt beteende till en viss signal).

Signaler är information
Vi är alltså helt oeniga i att det skulle vara ointressant med information och att det enda som spelar roll är vilket beteende som blir förstärkt och vilka reflexer som blir betingade. Vi kommer nämnligen inte ifrån A:et (antecedenter – stimuli som presenteras innan beteendet) i operant betingning. De finns alltid där. Även när vi inte tränar på signalkontroll finns det signaler i miljön som berättar för hunden vilket beteende som lönar sig. Det är därför våra hundar ligger och sover under bordet när vi skriver på datorn (de vet att chansen för belöning om de börjar erbjuda beteenden är väldigt liten), men erbjuder tricks när vi sitter ner på golvet med godbitar och klicker i handen, eller erbjuder utgångsställning när vi står tävlingsmässigt på en appellplan.

Hundar letar ständigt efter ledtrådar som gör att de kan lista ut vilket beteende som kommer att bli förstärkt. De är experter på att läsa kroppspråk och situation. Små detaljer som vart vi håller blicken, hur vi håller belöningar, vilket rum vi är i och vad vi har gjort precis innan kan vara signalen som gör att vår hund utför vissa beteenden. Ibland är det en fördel (det är ju jättebra att hundarna inte erbjuder skall när vi sitter vid datorn), men ibland är det en begränsning eftersom hundarna har så mycket lättare för den typen av signaler än verbala signaler. Därför försöker vi se till att minimera betydelsen av de här signalerna när vi jobbar med frivilliga beteenden. Belöningarna kan ligga var som helst, vi ändrar vårt kroppspråk, vi ändrar vår position, vår blick och situationen vi tränar i. Vi försöker vara noga med att signalen vi har valt ut (ofta ett ord) är det enda som avslöjar vilket beteende som kommer att bli förstärkt. Signalen ska vara informationen.

Vi ser ofta att våra verbala signaler blir oviktiga för hundarna eftersom det finns andra signaler som är enklare och viktigare i hundens ögon. Inlärning av signaler som ”fri” och ”varsågod” är bra exempel på det. På kurs får vi lägga mycket tid på att lära folk att stå stilla samtidigt som de ger signalen. Erfarenheten visar nämnligen att hundarna inte har en aning om vad ordet ”varsågod” betyder om vi alltid också använder vårt kroppspråk för att skicka hunden till skålen. Många hundar har inte heller någon aning om vad ”fri” innebär om inte föraren samtidigt slår ut med armarna och tar ett steg bakåt. Hundar väljer ut den information som är enklast för dem att uppfatta och tyvärr tycker hundar sällan att det vi säger är speciellt viktigt om de får lov att välja.

När vi jobbar med frivilliga beteenden finns det ju alltid någon signal som berättar för hunden vilket beteende som kommer att bli förstärkt. Det kan handla om kroppspråk eller situation, men ofta (om vi gör vårt jobb bra) framför allt om vilket beteende som vi har förstärkt precis innan (en repetitionsklok hund upprepar beteendet som den fick belöning för precis innan). Vår signal blir alltså även här ganska oviktig. Om vi dessutom säger den samtidigt som hunden redan har påbörjat beteendet, så tror i alla fall jag att vi i bästa fall bara får en klassisk betingning. Ibland kommer man ganska långt med klassisk betingning. Inkallning är ett sådant exempel. Det går alldeles utmärkt att lära in en bra inkallning genom att bara ge signalen ”kom” och sedan presentera riktigt god mat eller häftig lek (det är ju därför nybörjare kan lockas till att använda klicket som en inkallningssignal – det fungerar!). Ett annat exempel kan vara inlärning av ”loss”. Säg ”loss” när hunden leker (eller släpper leksaken), presentera en godbit och låt hunden äta. Eftersom det inte går att kampa och äta samtidigt, kommer hunden snart att släppa leksaken när han hör ordet ”loss” eftersom han förväntar sigen godbit.

Praktisk träning
Om vi däremot faktiskt vill ha mer tankeverksamhet än ”Yey! En godbit” från hunden, så tror vi att det är viktigt att signalen så tidigt som möjligt faktiskt får ett informationsvärde. Det mest effektiva sättet att göra det på, enligt vår egna erfarenhet, är att snabbt låta signalen bli startskottet för beteendet. I de situationer där vi faktiskt fysiskt kan hindra hunden från att utföra beteendet innan signalen, blir inlärningen oftast snabbast. Istället för att försöka smyga in signalen precis innan hunden springer till rutan (vilket kan vara svårt, eftersom hunden oftast påbörjar beteendet så fort belöningen är avslutad), väljer vi att hålla hunden i halsbandet, ge signalen och sedan släppa hunden och låta honom utföra beteendet. Ordningsföjden (signal, beteende, konsekvens) blir solklar och inlärningen går snabbare. Det här är vår ”döpa beteendet”-fas. Ganska snart vill vi låta hunden själv behärska sig och vänta på signalen. Det är då signalen verkligen blir viktig (tidigare har den bara kommit sekunden innan en annan signal – att vi släpper hunden).

Det går ju inte att göra så här med alla beteenden. Det fungerar bara när hunden ska lämna vår sida för att utföra någonting (buren, varsågod, rutan, apport, target etc.). När vi jobbar med andra beteenden måste vi kunna förutse beteendet och ge signalen innan de utförs spontant. Här tror vi att det faktiskt är en fördel att börja sätta på signalen innan vi har superflyt på beteendet. En latenstid på 1-2 sekunder mellan belöning och nästa repetition gör det faktiskt enklare att få in signalen i rätt tid, än om latenstiden är lika med noll. Det är inte alltid enkelt, för våra hundar har en tendens att ganska snabbt upprepa beteenden utan någon latenstid och man vill ju se till att hunden faktiskt både kan och tycker om beteendet innan man lägger på en signal. Det kan blir alltså nödvändigt att snabbt se till att hunden börjar vänta på signalen, så att ordningsföljden blir korrekt. Av egen erfarenhet menar vi att korrekt ordningsföljd faktiskt har stor betydelse även för korta beteenden som stå, sitt och ligg. Det här resonemanget för oss till nästa punkt där vi känner att vi inte riktigt är överens med Morten om signalinlärning:

Hundens attityd
När vi tränar in signaler utgår vi ifrån två saker: Att hunden verkligen vill ha sin belöning och att hunden verkligen vill utföra beteendet (eftersom det leder till belöning). Om inte de här två förutsättningarna uppfylls, så är det ingen idé att ens tänka på att sätta på kommando på beteendet. Vi utgår ifrån att hunden söker information om hur han kan uppnå förstärkning när vi tränar på signalkontroll. Att det blir fel ibland gör faktiskt ingenting, det lär hunden vad som inte fungerar. I situationer där det är tveksamt om hunden är i det här läget är det bättre att fokusera på utveckling av belöningar och frivilliga beteenden.

För oss är det också en självklarhet att behålla frivilliga beteenden även när vi har lagt på signal. Därför spelar det ingen roll om signalinlärningen påbörjas tidigt.

Uansett, Thomas hadde en interessant diskusjon med Prof. Stanley Weiss over lunsj i går. (Nei, det var ingen eksklusiv privat lunsj, men vi var på samme konferanse.) Det skal nevnes at professoren i eksperimentell psykologi driver med nettopp eksperimentelle forsøk med både operant og klassisk betinging hos rotter og duer, og har begrenset med erfaring med hundetrening. Derfor tok det litt tid før han faktisk forsto spørsmålet (når, dvs timingen i forhold til atferden, ville han presentere signalet når han introduserer et nytt signal), men etter hvert ble han veldig engasjert i det interessante spørsmålet:)

Weiss poengterte at ”the discriminative stimulus sets the occasion for the behavior” og sa at han i laboratorieforsøk ville ha forsterket atferden når den forekom spontant til dyret utførte atferden ”at a reasonable rate”, for så å legge til betingelsen at atferden kun blir forsterket dersom den diskriminative stimulusen har blitt gitt først.

Enkelt og greit!

I helgen jobbade vi en del med signalkontroll på tränarutbildningen. Vi delade med oss av våra bästa tips och kursdeltagarna testade med sina hundar. En vanlig tendens vi ser bland våra elever är att de väntar alldeles för länge (ibland flera år) med att sätta på kommando på beteenden. Jag är övertygad om att det blir svårare ju längre man väntar. Och eftersom vårt system bygger på att hunden alltid kan ta fram frivilliga grundfärdigheter blir man ju inte begränsad till bara kommandon när man har börjat jobba med signalkontrollen. Det verkar som att våra elever skiljer sig från många andras, genom att för det mesta gå för långsamt fram istället för för snabbt… Efter kursen blev det diskussion i Sivs blogg. Det är väldigt kul att det blir diskussion och jag hoppas att ni också får ut någonting av den. Mina åsikter är helt och hållet en produkt av mina erfarenheter. Jag tycker (till skillnad från Morten) att signalkontroll (framför allt att skilja mellan beteenden, vänta-delen har jag aldrig hafr problem med) är rätt svårt och vill gärna göra det så enkelt som möjligt för både mig och hundarna. Jag rekommenderar att det här inlägget läses ihop med kommentarerna i Sivs blogg, så förstår ni kanske mer. Här kommer i alla fall mina signalkontrollsråd.

• Ett beteende måste inte vara perfekt för att man ska sätta kommando på det. Jag har tre kriterier som ska uppfyllas innan jag börjar. 1) Beteendet ser okej ut och har inga större fel. Det blir för det mesta rätt. 2) Hunden tycker att beteendet är kul! 3) Hunden upprepar beteendet i princip direkt när han får chansen efter belöning. Jag menar inte alls att man ska sätta kommando på ett beteende som man inte gillar, jag menar bara att en 3 månader gammal setter inte lägger sig med samma fart och precision som min vuxna border collie och att jag inte tänker vänta på det innan jag lägger på kommando. Jag är nöjd med att settervalpen tycker att det är kul att träna ligg och entusiastiskt upprepar läggandet direkt efter ”fri”, belöning eller lekpaus. Jag är helt övertygad om att jag inte ”cementerar” beteendet genom att lägga kommando på det (tänk, då hade ju alla beteenden varit färdiga och aldrig förändrat sig efter att man la på kommando).
• Det är mer effektivt att föra in kommandot innan beteendet än att göra det samtidigt som beteendet. Den här principen har i alla fall förkortat inlärningstiden väsentligt för mig. Det innebär egentligen bara en timingsmässig skillnad. Eftersom jag vet att hunden kommer att upprepa beteendet så fort hon är klar med belöningen, kan jag ju slänga in kommandot direkt. Jag kan inte se några fördelar med att vänta tills hunden faktiskt påbörjar beteendet. Jag är faktiskt hellre någon sekund för tidig. Precis som jag inte vill klicka samtidigt som hunden äter godbiten, vill jag inte ge signalen när hunden har påbörjat beteendet.
• Ge hunden utmaningar tidigt. Redan under andra eller tredje träningspasset börjar jag föra in att vänta på kommando och skilja mellan kommandon. Jag upplever att det är först då som inlärningen verkligen sätter fart. För så länge hunden kan lista ut vad vi vill utan att lyssna på signalen (som på förra punkten, där hunden lägger sig på repetition och jag slänger in kommandot när jag vet att hunden ändå kommer att lägg sig) bygger ”betingningen” på någon slags hopp om att det blir bra bara man repeterar det tillräckligt många gånger. Jag menar att effektiv inlärning bygger på att hunden gör val. Jag menar också att signalen bara blir viktig för hunden när den faktiskt signalerar någonting. När vi bara ”lägger på kommando” signalerar inte kommandot någonting. Det är andra signaler som berättar för hunden att läggandet kommer att bli förstärkt (att vi har förstärkt det flera gånger tidigare under träningspasset).
• Våga låta det bli fel. Jag är övertygad om att inlärningen går snabbare om vi går bort ifrån att tänka att det måste bli rätt ”nästan varje gång” när vi ger en signal. Ett sådant tänk leder till att vi bara ger signalen när hunden ändå tänker göra det vi ber om, vilket återigen gör att hunden inte behöver lyssna till signalen för att få information. När jag jobbar med signalkontroll hos mina hundar är jag noga med att att inte ge dem den signal de ser ut att förvänta sig och jag försöker lista ut vad de tänker för att ge dem motsatsen. Min träning går faktiskt ut på att försöka lura hundarna att göra fel. De får lära sig att lyssna på signalerna istället för att gissa vad som kommer härnäst. Det är inte heller något problem för hundarna att göra rätt när de först har gjort fel. Speciellt inte om man växlar mellan bara två kommandon. Därför kan ett träningpass se ut så här:
  ”Sitt” – belöning – ”Fri” – ”Ligg” – belöning – ”Fri” – ”Ligg” – belöning – ”Fri – ”Ligg” – belöning – ”Fri” – ”Sitt” – ”ojdå, kom här!” – ”Ligg” – ”Fri” – ”Ligg” – ”Fri” – ”Ligg” – ”Fri” – ”Sitt” – belöning – ”Fri”.
  När hunden misslyckas på sitt nummer två får hon samma utmaning en gång till (sitt efter tre lägganden), fast med frisignal som enda bekräftelse (inga godbitar förrän hon klarar sitten) på att det är rätt.
• Belöna gärna passivitet med godbitar när du ska lära hunden att vänta på signal. Det ger en högre förstärkningsfrekvens och högre lyckandeprocent när hunden ska lära sig konceptet. Varför göra det krångligare än det behöver vara? Se bara till att hunden inte blir tveksam när du ger kommandot bara. Min erfarenhet är dock att mina hundar är så sugna på att utföra beteendet på kommando att det inte är något problem. Det är en liten balansgång under något träningspass, men strax förstår hunden konceptet och då kan du också börja kedja och belöna passivitet med signal. (En del saker kedjar jag aldrig helt (belönar ofta för att hundarna sitter stilla i agilitystarter, eller väntar på ”tryck”-kommando när vi tränar kontaktfält, till exempel) medan andra saker kedjas tidigt och i princip aldrig tas isär (uppsitt och nedsitt till exempel). Jag skulle börja lära Pi klass I-apportering här om dagen och det var svårt för henne att vänta på signal eftersom hon alltid har fått gripa apporter direkt. Jag upplevde att det blev för mycket straff och för lite belöning och började belöna passiviteten med godbitar. Jag tror att jag löste problemet på tre minuter och nu är det säkert klart för kedjning.

Jag har fler tankar, men det här får räcka just nu. Är sugen på att jobba mer med signalkontroll när jag kommer hem.
Soliga hälsningar från Bergen. Diskutera gärna frågan i kommentarsfältet och kom ihåg att det här absolut inte behöver vara hela sanningen, det är bara mina egna erfarenheter av vad som funkar snabbast och säkrast (och vad som också funkar bäst i mitt huvud med tanke på vad vi vet om inlärningspsykologi).