Ewaluacja Treningu Zastępowania Agresji (ART)

Jacek Morawski

Wprowadzenie

Trening Zastępowania Agresji (ART) upowszechniany jest w ponad 20 krajach i znajduje coraz więcej zastosowań w edukacji, wychowaniu, szkolnictwie specjalnym, resocjalizacji, terapii psychiatrycznej, terapii uzależnień, przeciwdziałaniu przemocy domowej, pomocy społecznej i w innych dziedzinach. ART jest programem rekomendowanym przez Departament Edukacji USA, stanowe władze edukacyjne, amerykański Departament Sprawiedliwości i Amerykańskie Towarzystwo Penitencjarne, jest też programem akredytowanym przez brytyjskie Ministerstwo Spraw Wewnętrznych (Home Office Probation Unit). Utworzona została organizacja: Międzynarodowe Centrum ART (ICART), mająca na celu promowanie kompetentnych zastosowań i naukowej ewaluacji ART.

Ewaluacja programów profilaktycznych

Chociaż większość publikowanych programów profilaktycznych nigdy nie była testowana albo ewaluowana (Kazdin A.E., 1988. Research design in clinical psychology, 3rd edn. Needham Heights, MA: Allyn&Bacon), to dla upowszechniania takich programów niezwykle istotne jest przedstawienie tego, co jest robione, oraz tego, czy w wyniku realizacji programów profilaktycznych osiąga się oczekiwane cele. Obecny wiek można nazwać „erą ewaluacji”: od profesjonalistów w dziedzinie profilaktyki, nauczycieli, wychowawców, pracowników socjalnych, resocjalizacji i terapeutów coraz powszechniej wymaga się wykazania, że ich działalność przynosi oczekiwane efekty.

Ewaluacja to oszacowanie, określenie wartości czegoś; teoria ewaluacji stanowi obszerną dziedzinę badań naukowych. Teoria ewaluacji określa, na przykład, jak różne modele badań naukowych (research design) wpływają na pewność i dokładność oceny efektywności (skuteczności) badanej technologii lub badanego programu. Ewaluacja jest działaniem wielostronnym. W literaturze fachowej wymienia się od kilku do kilkunastu składników, albo poziomów ewaluacji. Dla orientacji w złożoności zagadnienia wymienię w tym miejscu siedem często spotykanych poziomów ewaluacji:
(1) ewaluacja działań – co faktycznie jest robione; czy robi się cokolwiek, co można ocenić;
(2) ewaluacja nakładów – koszty i zużywane zasoby (ludzie, lokale, wyposażenie, materiały), zwykle w relacji do liczby odbiorców programu;
(3) ewaluacja procesu – jakie szczegółowe czynności podejmowano, kto co robił dla kogo, jak, kiedy i gdzie; czy faktyczny przebieg czynności i treści był zgodny z planowanym, wierność realizacji założeń programu (fidelity);
(4) ewaluacja wyników (outcome monitoring) – co jest konkretnym wynikiem (wytworem) programu; czy w wyniku realizacji programu uzyskano oczekiwane zmiany; ewaluacja wyników nie udowadnia czy ewentualne zmiany są spowodowane przez czynniki zewnętrzne (czynniki nie specyficzne albo nie rozpoznane, selekcję odbiorców programu, naturalne procesy biologiczne lub społeczne), czy też przez sam program, natomiast wskazuje na taką możliwość;
(5) badanie efektywności (effectiveness) – badania efektywności dowodzą, że wiele obiecujących programów profilaktycznych nie daje pożądanych wyników; czasami wręcz powoduje wymierne szkody; badanie efektywności wymaga wyboru odpowiedniego schematu badawczego, z przynajmniej jedną grupą eksperymentalną i jedną kontrolną; dobór uczestników do grup musi być przypadkowy (randomization); badania efektywności są trudne technicznie i wymagają nakładów, przekraczających zwykle możliwości autorów i odbiorców programów;
(6) ewaluacja skutków ubocznych – jakie mogą być nieprzewidziane lub niepożądane skutki programu; jaka jest dostępność programu, jakie czynniki zachęcają bądź zniechęcają do uczestnictwa w programie; jakie są możliwości samodzielnej kontynuacji programu;
(7) ewaluacja wydajności (efficiency) – czy to, co osiągnięto, osiągnięto możliwie najniższym kosztem; czy zainwestowane zasoby przyniosły maksymalnie możliwe korzyści; przy takiej samej efektywności dwu różnych podejść, ewaluacja wydajności pozwala wybrać działanie bardziej ekonomiczne.

Badania efektywności ART

Trening Zastępowania Agresji, od pierwszej ewaluacji w 1987 roku, był wielostronnie oceniany w różnych środowiskach, w zastosowaniu do różnych populacji, i przez różnych badaczy. Ogółem na świecie ukazało się ponad 200 publikacji na ten temat, w tym zawierające wyniki 16 badań efektywności ART, przeprowadzonych z zachowaniem wszystkich rygorów naukowych. Szczegółowe dane na ten temat można znaleźć w obszernej literaturze przedmiotu

Pierwsze badania efektywności dotyczyły zastosowania ART jako wielostronnego programu resocjalizacyjnego dla nieletnich i młodocianych przestępców przebywających w zakładach zamkniętych. Badanie przeprowadzone w Annsville Youth Center w Stanie Nowy Jork wykazało, że młodzież objęta 10-tygodniowym programem ART przyswoiła sobie nowe umiejętności prospołeczne, wykorzystywała te umiejętności w nowych sytuacjach społecznych, lepiej kontrolowała swoją złość. Wyjątkowo ważnym kryterium oceny efektywności programów dla nieletnich przestępców jest wskaźnik recydywy. Badania tego rodzaju wykazywały zgodnie znacznie niższe wskaźniki recydywy młodych ludzi w okresie 4 – 12 miesięcy po 10-tygodniowym programie ART (13 – 15%), niż w grupach kontrolnych (40 – 52%). Najlepsze wyniki osiągano, gdy programem byli objęci jednocześnie młodzi ludzie, ich rówieśnicy i ich rodziny i gdy programem kierowali lub konsultowali go jego autorzy. Wyniki te uzasadniają włączenie ART na stałe do resocjalizacji agresywnych młodych ludzi (Goldstein, A.P., Glick, B., Gibbs, J.C., 2004. ART - Program zastępowania agresji. Wydanie poprawione, Instytut Amity, s. 178-188).

W Kanadzie badano wpływ treningu umiejętności prospołecznych i treningu kontroli złości ART na grupę 37 dorosłych więźniów, z których wszyscy mieli w przeszłości poważne problemy z kontrolowaniem złości. (Kennedy, S.M., 1989. Anger management training with adult prisoners. Unpublished doctoral dissertation, University of Ottawa, Canada). Po zakończeniu projektu porównano efekty działania kombinacji dwóch procedur z efektami stosowania tylko treningu umiejętności prospołecznych lub tylko treningu kontroli złości. Kennedy pisze:

„Przeprowadzone badanie dowodzi, że zarówno trening kontroli złości jak i ustrukturowane uczenie umiejętności prospołecznych są skutecznymi środkami w terapii, przebywających w zamkniętych ośrodkach, przestępców płci męskiej, mających poważne problemy z kontrolowaniem złości i zachowaniem. U członków wszystkich czterech grup terapeutycznych zaobserwowano następujące zmiany: oceniali, że rzadziej reagują złością na prowokacje typowe dla więzienia, zaobserwowali u siebie zmniejszenie częstotliwości występowania, intensywności i czasu trwania złości, używanie bardziej odpowiednich środków ekspresji, zmniejszenie konsekwencji reakcji związanych ze złością. Obiektywne oceny ich reakcji na zainscenizowane prowokacje wykazały, że były to reakcje właściwe, tak, jak sami je ocenili. Dodatkowo po zakończeniu programu uczestnicy demonstrowali bardziej prospołeczne postawy. Badania przeprowadzone po zakończeniu programu prowadzą do wniosku, że efekty terapii utrzymują się długo. Uczestnicy programu utrzymywali niższy poziom agresji we współczynnikach poznawczych gniewu (str. 3).”

Badania w szkołach

W Brisbane w Australii badano efektywność programu ART (włączającego wnioskowanie moralne) dla agresywnych uczniów szkoły średniej w porównaniu z grupą kontrolną nie przechodzącą żadnego treningu (Jones, Y., 1990. Aggression Replacement Training in a high school setting. Unpublished manuscript, Center for Learning and Adjustment Difficulties, Brisbane, Australia). Rezultaty jej badań są zwięzłe i optymistyczne:

„W porównaniu z dwiema grupami kontrolnymi, wśród uczniów, którzy przeszli program ART: znacznie spadła liczba zachowań agresywnych, wzrosła liczba przypadków, w których uczniowie radzili sobie z danym problemem, przyswojona została większa liczba umiejętności społecznych. (…) ART wydaje się być skutecznym rozwiązaniem dla agresywnych uczniów szkoły średniej. (str. 1)”

Jedno z nowszych zastosowań ART ma miejsce w jednym z najbiedniejszych okręgów szkolnych w USA, w szkole podstawowej Delaware w Syracuse, w której 75% uczniów znajduje się w grupach ryzyka (DiFlorio, R., 2004. Application in an Inner-city Elementary School. In: New perspectives on aggression replacement training. Practice, research and application. Goldstein, A.P. a. u. (ed), Wiley Series in Forensic Clinical Psychology, pp. 75-85). W pierwszym roku włączenia ART do programu wychowawczego szkoły liczba przypadków dyscyplinarnych zmniejszyła się z 1534 do 821 (53%).

Ewaluacja wdrożeń na szerszą skalę

Badania efektywności programów profilaktycznych przeprowadzane są zwykle na małych próbach, a oceniany program realizowany jest przez autorów lub wysoko kwalifikowanych specjalistów. Programy wykazujące się wysoką efektywnością w takich warunkach, czasem nie przynoszą porównywalnych efektów, gdy realizowane są na szeroką skalę, przez personel przyuczony tylko do realizacji programu. Sytuacja szerokiego wdrażania ma miejsce w Wielkiej Brytanii, gdzie ART jest programem akredytowanym w całym systemie sprawiedliwości karnej (McGuire J., Clark, D. 2004. A National Dissemination Program. In: New perspectives on aggression replacement training. Practice, research and application. Goldstein, A.P. a. u. (ed), Wiley Series in Forensic Clinical Psychology, pp. 139-150). Stwarza to wyzwania w zakresie przygotowania personelu trenerskiego, postępowania z osobami nie kończącymi całego programu i inne. Tym nie mniej, nawet w takich warunkach, ART wykazuje się skutecznością. Według badań w Wiltshire recydywa (12-miesięczna) w grupach ART jest znacznie niższa od prognozowanej dla tych grup, a wskaźniki recydywy z grup ART wynoszą 20,4% wobec 34,5% w grupie kontrolnej.

Drugiego przykładu wdrożenia ART na szerszą skalę dostarcza Stan Washington (USA), w którym ART jest jednym z akredytowanych programów resocjalizacyjnych dla nieletnich. W 2004 roku opublikowano ewaluację wyników czterech programów resocjalizacyjnych, w tym ART. Ewaluacja wykazała, że ART jest efektywny w ograniczeniu recydywy (18-miesięcznej) o 24% wtedy, gdy jest realizowany przez kompetentnych trenerów, dokładnie przestrzegających zasad i procedur treningu. Niekompetentna realizacja ART nie daje efektów w postaci zmniejszenia recydywy, jednakże, w przeciwieństwie do innych programów, których niekompetentne wykonanie może prowadzić do wzrostu recydywy, w przypadku ART takiej sytuacji nie stwierdzono. ART okazał się także programem najbardziej ekonomicznym, w którym jeden zainwestowany dolar przynosi 11,66 dolarów korzyści. Najważniejszym wnioskiem z tych badań jest uzasadnienie konieczności wprowadzenia i egzekwowania standardów jakości programów profilaktycznych. Dwa raporty z omawianych badań oraz rekomendacje standardów można znaleźć na stronie Washington State Institute for Public Policy: www.wsipp.wa.gov.

Ewaluacja Treningu Zastępowania Agresji (ART) w szkołach w Polsce

Wyniki ewaluacji ART w szkołach w Polsce oparto na dokumentacji programów, prowadzonych przez Instytut „Amity” lub pod superwizją tego Instytutu.

Systematyczne obserwacje zmian podczas treningu i w krótkim okresie po treningu (tzw. outcome monitoring) dowodzą pozytywnych zmian w zachowaniu dzieci i młodzieży, poddanej treningowi ART. Zmiany zachowania uczniów w grupach treningowych i poza salą treningową są na ogół widoczne, szybkie i znaczące. Są też przykłady takich zmian u najbardziej opornych przedtem uczniów, że, zdaniem nauczycieli, graniczy to z cudem.

Ocena efektywności zajęć, w formie obserwacji zmian zachowania trenujących uczniów, jest obowiązkową częścią praktyki ART. Drugim obowiązkowym komponentem ewaluacji jest samoocena umiejętności społecznych przez trenujących na początku i na zakończenie 30-godzinnego programu. W trakcie praktyki chodzi głównie o opanowanie przez trenerów technik obserwacji i ewaluacji, natomiast rzeczywista poprawa zachowania trenujących jest celem dodatkowym praktyki, inaczej niż już podczas treningu prowadzonego przez certyfikowanych trenerów. Obserwację zachowań prowadzi każdy zespół trenerski.

W każdym przypadku wyniki obserwacji były pozytywne, liczba obserwowanych zachowań agresywnych uczniów zmniejszała się, czasem o 50 i więcej procent. W najlepszych realizacjach zmniejszenie liczby zachowań agresywnych osiąga 85%. Nie zaobserwowano nigdzie nasilenia zachowań agresywnych po treningu. Najlepsze wyniki osiągano w przedszkolach.

Charakterystyczne wyniki pokazuje poniższa tabela, ujmująca zmiany częstości zachowań agresywnych uczniów po treningu ART w niektórych szkołach i placówkach oświatowych, w 2003 r.
 

Zbierane dane pozwalają także na analizę jakościową, bardzo przydatną do planowania kontynuacji treningów ART. Przykładowo, pokażemy strukturę zmian w gimnazjum, z pierwszego wiersza tabeli powyżej:

Na podstawie kwestionariuszy umiejętności społecznych niektórzy trenerzy sporządzili diagnozę umiejętności poszczególnych uczniów. Przykład takiej opinii:

Agnieszka jest osobą, która posiada wysoki stopień uświadomienia norm społecznych, wie, jak należy się zachować. Z łatwością wypowiadała się podczas treningów wnioskowania moralnego symulując mądre, dojrzałe decyzje, w których kierowała się sumieniem. Mimo to w życiu szkolnym ujawniała spore problemy, zwłaszcza w relacjach z nauczycielami: była krnąbrna i agresywna. Przyzwyczajona do samodzielności w miejskim życiu – przetrwać w dzielnicy, czasami rozwiązywała konflikty w sposób siłowy: pobicia, zastraszenia, wyzwiska. Umiejętności ocenione przez nią na 2 punkty: proszenie o pomoc (poprawa o 1 pkt.), radzenie sobie z pominięciem (poprawa o 1 pkt.), radzenie sobie z presją grupy (poprawa o 2 pkt.), skarżenie się (poprawa o 1 pkt.). Czasami stosowała umiejętności: dawanie instrukcji, przekonywanie innych, samokontrola, reagowanie na zaczepki, unikanie kłopotów z innymi, radzenie sobie z zakłopotaniem, reagowanie na perswazję, przygotowanie do trudnej rozmowy. Wszystkie te umiejętności w reteście Agnieszka określiła jako te, które często stosuje. Pomogły jej również treningi kontroli złości, gdyż uświadomiła sobie, dlaczego tak często wpadała w kłopoty z nauczycielami.

Jednym ze wskaźników ewaluacji mogą być opinie uczniów. Takie jakościowe dane od trenujących zbierano w większości grup. Na przykład:

Na tych zajęciach nauczyłem się, że są inne wyjścia z opresji prócz agresji. Uczyliśmy się tam jak prosić o pomoc i jak unikać bójek. Mówiliśmy także jak nie poddawać się presji grupy i w niej współpracować. Na tych zajęciach było dosyć wesoło. Myślę, że te zajęcia bardzo nam pomogły, ponieważ nauczyliśmy się na nich wielu przydatnych w życiu każdego człowieka umiejętności. Piotr, lat 11.

Dziesięć zajęć treningu, które odbyły się niedawno, nauczyło mnie zastanawiać się zanim podejmę decyzję o jego konsekwencjach. Trening ten pomoże mi i postaram się przekazać tę wiedzę innym. Bardzo się cieszę, że uczęszczałam na te zajęcia, na których mogłam się zwierzyć z problemów i uzyskać wskazówki jak postąpić. Dziękuję za to paniom, które prowadziły te zajęcia, jestem wdzięczna. Magda.

Już teraz poradzę sobie lepiej z trudnościami, jakie mnie czekają w życiu. Wiem jak mniej więcej poradzić sobie bez żadnego trudu. Piotr, 15 lat.
Moim zdaniem było wesoło na treningach. Dużo się nauczyłam. Myślę, że w przyszłości z większą rozwagą będę podchodziła do niektórych spraw. Nie wszystko można załatwić agresją – można spokojniej rozważyć wszystkie problemy. Sylwia, 16 lat.

W szkole z fizyki dostałam jedynkę, ze zdenerwowania zaczęłam się kłócić z panią od fizyki. W internacie przemyślałam tą lekcję i postanowiłam przygotować się do trudnej rozmowy z nauczycielką. Na drugi dzień poszłam na lekcję fizyki i poprosiłam nauczycielkę, aby mogła mi poprawić jedynkę.
Powiedziałam pani, że bardzo brzydko się zachowałam na ostatniej lekcji fizyki i nigdy się już to nie powtórzy. Nauczycielka zlitowała się nade mną i poprawiła mi jedynkę na czwórkę. Była pod wielkim wrażeniem dlatego, że wszystko umiałam.

Poniżej przytaczamy typowe wypowiedzi wychowanek z placówek wychowawczych:

"Te zajęcia bardzo mi pomogły. Przez ich uczestniczenie obniżyłam swój poziom agresji, bo wcześniej nie mogłam sobie z tym poradzić. Obrażałam osoby bez winy, krytykowałam bez powodu. Od kiedy zaczęłam uczestniczyć na zajęcia zaczęłam przed jakimkolwiek konfliktem zastanawiać, jak powinnam w owym momencie zareagować. Pamiętam, gdy byłam w domu na przepustce miałam zwyczaj kłócić się, a nawet bić ze swoim starszym bratem. Zaczynało się od drobnostek, a kończyło na płaczu. Teraz zrozumiałam, że muszę najpierw przemyśleć, co za chwilę zrobię i żeby nie wyszedł z tego żaden konflikt. Nawet jeszcze czasami mój brat mnie prowokuje do kłótni, a ja go olewam, śmiejąc się pod nosem, że mu się nie udało".

"Te zajęcia bardzo mi pomogły choćby wtedy, gdy ja wraz z koleżankami planowałyśmy ucieczkę, one także chodziły na te zajęcia. Akurat dzień przed naszą planowaną ucieczką były zajęcia, no i jakoś się dziwnie stało, że na zajęciach został poruszony temat ucieczek. Przedstawiałyśmy scenki, no i gdy dwie koleżanki próbowały przedstawić taką małą scenkę do namowy do ucieczki zaczęłam się dokładnie zastanawiać. Zastosowałam klatkę stop i zrezygnowałam z tej ucieczki a także wytłumaczyłam moim koleżanką, że to nie ma sensu, że można tylko wiele stracić a nie zyskać. One się zastanowiły i stwierdziły, że to naprawdę jest niepotrzebne.
Te zajęcia pomogły mi przetrwać. Nauczyłam się, jak podejmować trudne decyzje, nauczyłam się jak radzić sobie w różnych sytuacjach. Bardzo bym chciała aby takie zajęcia trwały dłużej." Violeta

Zmiany zachowania trenujących były zauważalne także w szkole, przez innych nauczycieli i trenerów. Na przykład:

Wielka satysfakcją były dla nas opinie nauczycieli uczących w tej klasie, którzy mówili, że jest dużo lepiej, że klasa bardzo się zmieniła. Nie słyszałyśmy już uwag na temat karygodnego zachowania uczniów. W czasie przerw chłopcy zachowywali się spokojniej i łagodniej. Jedna z nauczycielek stwierdziła nawet „coś się z nimi stało”. Nie twierdzimy jednak, że sytuacja jest obecnie idealna, zdarzają się nieporozumienia, ale można je rozwiązywać w kulturalny sposób a same konflikty nie są tej rangi, co na początku roku.

Tam, gdzie program ART włącza rodziców, ich opinie także wskazują na pozytywne efekty treningu. Wnioskować to można z wypowiedzi rodziców uczestniczących w treningach rodzinnych:

"Te zajęcia to strzał w dziesiątkę. Po podbudowie teoretycznej zajęcia praktyczne pozwoliły mi dostrzec więcej swoich błędów, pokazały jak ich unikać, a co najważniejsze, długo (pewnie na zawsze), pozostaną w pamięci.
Będą ważnym drogowskazem na dalsze lata. Wysoko cenię sobie także zajęcia teoretyczne, które pozwoliły mi zrozumieć postępowanie mojego dziecka".

"Bardzo, bardzo potrzebne.
Przede wszystkim dlatego, że inni rodzice się uczą, wśród symulowanych zachowań pokazujących problem zarówno dzieci, jak i rodziców, każdy potrafi wyszukać i sformułować (!) problem w odniesieniu do siebie.
Dla rodziców, których dzieci są 'aktorami' i prezentują swoje prawdziwe emocje jest to o tyle ważne, że czasem słowa, teoria i zwykłe tłumaczenie nie są na tyle przekonywujące, by w to uwierzyć lub uznać problem za faktycznie poważny, natomiast ujrzenie swojego własnego dziecka bez naszego udziału faktycznego, 'na zimno', czyli bez udziału naszych własnych emocji przedstawić potrafi problem w jego postaci rzeczywistej.”

Wprowadzenie ochrony ART jako znaku towarowego w skali światowej i wdrożenie w Polsce w 2004 roku systemu zapewnienia jakości ART, zwiększyło skuteczność programu. System zapewnienia jakości pozwala na szybkie oszacowanie przyczyn występujących trudności lub niższych wyników i szybkie przeciwdziałanie takim zjawiskom. Pozwala także na wybór najbardziej kompetentnych trenerów do upowszechniania programu.

Oprócz ewaluacji zewnętrznej duży nacisk kładzie się na autoewaluację – ewaluację własnego programu. Służą temu umiejętności ewaluacyjne, które powinien opanować każdy trener. Kroki umiejętności autoewaluacji ART opracował Bengt Daleflod (2004. The ART Trainer as a Scientific Practitioner. In: New perspectives on aggression replacement training. Practice, research and application. Goldstein, A.P. a. u. (ed), Wiley Series in Forensic Clinical Psychology, pp. 245-256):

Umiejętność 51: Ewaluacja własnego programu
1. Zidentyfikuj i opisz zachowanie lub deficyty, które wymagają zmiany
2. Zbierz podstawowe dane
3. Sformułuj cele zmiany behawioralnej w formie mierzalnych celów
4. Rozpocznij program ART
5. Kontynuuj zbieranie danych
6. Oceń stopień osiągnięcia celu
7. Napisz sprawozdanie i upowszechnij swoje wyniki.

Polscy trenerzy wyposażani są w trakcie szkolenia w wiedzę i umiejętności niezbędne do autoewaluacji, oraz w odpowiednie narzędzia do tego celu.

Uwagi końcowe

W miarę upowszechniania w Polsce realizacji ART przez kompetentnych trenerów, przestrzegających procedur i standardów jakości, zwiększać się będzie efektywność ograniczania zachowań agresywnych i ich następstw. Coraz lepiej będziemy także potrafili identyfikować czynniki zakłócające i czynniki sprzyjające efektywności. Eliminowanie tych pierwszych i wzmacnianie drugich pozwoli na lepsze dopasowywanie treningu do szczególnych potrzeb jego uczestników.

Ewaluacji podlegają także szkolenia trenerów. Jest to odrębne zagadnienie.