Az értékelés megszervezése

Előző írásomban az értékelés előkészítését mutattam be: Kezdjetek el mérni! – Az értékelés előkészítése. Az értékelés ezt követő szakasza a szervezés, amelynek során nagyon sok kérdésre kell választ kapnunk, ami majd mind a lebonyolítást érinti. A szervezés főbb témakörei a következők:

  • Az értékelés típusa (előzetes, támogató, javító, összegző)
  • Személyi kérdések (külső vagy belső értékelő)
  • Időkeret
  • Erőforrások (anyagi, tudás, személyek)
  • Mérőszámok, indikátorok (mennyiségi, minőségi)
Az értékelés típusa

Az értékelések két fő típusa a támogató és az összegző értékelés. Ezek mellett a múzeumi gyakorlatban még használják az előzetes és a javító értékelést is.

Támogató értékelés (formative evaluation): az értékelés egyik típusa, amelyet a program lebonyolítása alatt végeznek el. Elsődleges célja információk biztosítása a vizsgált program javításának céljából.

Összegző értékelés (summative evaluation): olyan vizsgálat, amelyet a program végén (vagy egy fázisának a végén) végeznek el annak meghatározására, hogy milyen mértékben sikerült elérni a várt eredményeket. Az összegző értékelés a program értékéről kíván információt szolgáltatni.

A támogató és az összegző értékelés közötti különbséget nagyon jól szemlélteti az értékelés elméletének és gyakorlatának egyik nagy alakjának, Michael Scriven-nek a mondása:

“Amikor a szakács kóstolja meg a levest, az támogató értékelés, amikor a vendég ízleli meg, az összegző értékelés.”

Előzetes értékelés (front-end evaluation): Az előzetes értékelésre (múzeumok esetében) a kiállítás tervezési szakaszában kerül sor a támogató értékelést megelőzően. Ennek lényege a látogatói ismeretek és tévhitek felmérése egy adott témáról illetve reakcióik megismerése egy kiállítási koncepcióról.

Javító értékelés (remedial evaluation): A javító értékelést az összegző értékelés előtt készítik. Itt már egy majdnem teljesen kész kiállítás kerül megvizsgálásra, azért hogy kiderüljön, hogy bármilyen változtatás szükséges-e még azért, hogy a látogató élményét optimalizálják.

Személyi kérdések

Fontos kérdés egy értékelés elkészítésében, hogy az adott projekt vagy intézmény dolgozói vagy egy külsős szakértő végezze el a munkát. Az, hogy az adott körülmények között a külső vagy belső értékelés a megfelelő, befolyásolja, hogy milyen céllal készül az értékelés, mekkora a projekt költségvetése, mennyi idő és munkaerő áll rendelkezésre, az intézmény mennyire hajlandó a szükséges információkat külsősöknek kiadni.

Külső értékelő: Előnye, hogy az értékelő semleges tud maradni, friss szemmel nézi az adott intézményt vagy projektet, nem befolyásolja olyan körülmény, hogy a közvetlen munkatársai munkáját kell elemezni. Hátrány viszont, hogy a külső értékelőnek nagyobb előkészület szükséges, ezért a költségek magasabbak, emellett kérdéses lehet, hogy valóban minden szükséges információhoz hozzájut-e.

Belső értékelő: A saját munkatársaknak jobb a helyismeretük, jobban ismerik a résztvevők az adott belső viszonyokat, kevesebb előkészítés szükséges, így a költségek is alacsonyabbak. Egy belső értékelést rugalmasan lehet kezelni és bizonyos időközönként ismételni, ha szükséges. Előny, hogy a munkatársak együttdolgoznak javul a csapategység, egy tanulási folyamatként élik meg a résztvevők a közös munkát és nem kritikaként. A hátránya lehet, hogy mivel az értékelők ezzel a projekttel foglalkoznak nap mint nap, így nem látják majd meg az alapvető hiányosságokat, problémákat. Egy belső értékelés is előkészítést igényel, amit hajlamosak a résztvevők könnyedén venni pont a nagy helyismeret miatt. A semlegesség hiánya is komoly problémákat vethet fel.

Létezik olyan eset, amikor a külső és a belső értékelés kombinációja valósul meg. Ilyen esetben a külső értékelő segítséget nyújthat például a célok és mérőszámok meghatározásában, az adatgyűjtés szakaszában kérdőíveket vagy interjúkat készít stb.

Forrás: De Perrot és Wodiunig (2014) alapján (saját szerkesztés és fordítás)

Időkeret

A folyamatnak mindig kell, hogy kezdő dátuma és befejezése legyen, ezáltal határozzuk meg magát az időkeretet. Ez evidensnek tűnik, mégis sokszor előfordul, hogy nincs pontosan meghatározva az értékelés ideje. Nyilván egy több tényezőre kiterjedő, hosszabb ideig tartó értékelés több erőforrást igényel, mint egy rövidebb. Természetesen előfordulhat olyan is, hogy nem szükséges egy hosszabb vizsgálódást lefolytatni azért, hogy lényeges dolgok derüljenek ki a projekttel kapcsolatosan.

Erőforrások

Minden értékeléshez szükségesek erőforrások. Ez akkor is így van, ha házon belül végezzük el ezt a munkát, hiszen erőforrásnak minősül például a munkatársak értékelésre fordított munkaideje is. Az értékelési erőforrásoknál meg kell vizsgálni, hogy hány munkaórát, mennyi pénzt tudunk erre a feladatra áldozni, milyen tudás áll rendelkezésünkre. A költségkeretet azért fontos már az elején tisztázni, mert a legtöbb méréshez szükség lehet valamilyen új eszközre pl. új szoftver, de költségként merülhet fel a kérdőívek nyomtatási költsége is.

Mérőszámok, indikátorok

A következőkben a mérőszámokat az alapján csoportosítom, hogy mennyiségi vagy minőségi mutatók, természetesen emellett még más csoportosítási módszer is elképzelhető.

Mennyiségi mutatószámok

Ezek az adatok viszonylag egyszerűen gyűjthetők és hozzáférhetőek, a kulturális területen is használják őket. Ilyen mennyiségi típusú mérőszámokat gyűjtenek az intézmények és projektek, hiszen a különböző elszámolásokban és beszámolókban ezeket kell szerepeltetni.

Néhány példa mennyiségi mutatószámokra:

  • látogatók vagy nézők száma, ezzel összefüggésben az intézmény vagy az adott terem kihasználtsága
  • az intézménybe visszalátogatók gyakorisága
  • árbevétel megoszlása: jegyárbevétel és egyéb bevétel pl. kiadványok értékesítése
  • adományok és szponzorációs bevételek nagysága, ezek aránya a teljes költségvetésen belül
  • a projekt költségeinek megoszlása a látogatószámhoz viszonyítva, egy látogatóra leosztva
  • honlap statisztikái pl. látogatottság, honlapon eltöltött idő, hány oldalt nyitottak meg a látogatók, hírlevélre egy adott időszak alatt feliratkozottak száma stb.
  • sajtómegjelenések száma

Minőségi mutatószámok

A minőségi mutatók esetében már nem ilyen egyértelmű az adatok gyűjtésének módja és gyakorisága. Minőségi mutatószámokat nem kötelező gyűjteni, mégis ez adja az igazán érdekes és hasznos válaszokat a kulturális területet érintő kérdésekre.

Minőségi indikátorok lehetnek például a következők:

  • a látogató motivációja
  • a látogatói elégedettség (infrastruktúrával, kommunikációval, a szolgáltatások színvonalával stb.)
  • a munkatársak motiváltsága/elégedettsége (a munkavégzés körülményeivel, a vezetéssel, a továbbképzési lehetőségekkel, a kihívásokkal, az előrelépési lehetőségekkel stb.)
  • az intézmény kooperációs képessége, megjelenése nemzetközi projektekben
  • hírnév megítélése

Az értékelés szervezésének szakaszában ennyire sok témakörrel kell foglalkoznunk. Ha ezeket a kérdéseket alaposan átgondoljuk, megválaszoljuk és dokumentáljuk, akkor a saját munkánkat könnyítjük meg az értékelés következő fázisára, a kivitelezésre.

Fotó

, , , , ,

Mi a véleménye a cikkről? Szívesen olvasom hozzászólását!