WERKWANDEL 03/2024 Wissenschaft direkt auch mit dem Betriebsrat des Unternehmens abgestimmt wurden. Zunächst ist die Durchführung des hybriden Trainingsverfahrens nur an einem Standort gestartet worden; dieser bildet die Experimentalgruppe (EG). An Standort 2 ist der Beginn des Trainings geplant, sobald die Maßnahmen am ersten Standort beendet sind. So können die Ergebnisse der Befragungen der Teilnehmer des Standorts 2 als Kontrollgruppe (KG) ausgewertet werden; den Angehörigen der KG entsteht durch dieses Vorgehen kein Nachteil, da sie ihr Training ebenfalls — nur verzögert — absolvieren können. Die Evaluation der Entwicklung und Implementierung der Trainingsmaßnahme umfasst die Bewertung der entwickelten Inhalte und Methoden beziehungsweise Tools des Trainings sowie die Gestaltung der Lernumgebung, die Lerntransferunterstützung und die Qualität der Trainer beziehungsweise Dozenten. Hierzu wurde die Zufriedenheit der Beschäftigten und der Führungskräfte mit den durchgeführten SOP- und Commitment Workshops und die Zufriedenheit mit den eingesetzten Lernvideos und dem E-Learning für die Führungskräfte erfragt 2023 2024 2025 F M A M J J A S O N D J F M A M J J A S O N D J F M Durchführung der Evaluation Situationsanalyse/Status quo Erhebung (EG) Situationsanalyse/Status quo Erhebung (KG) t0 Datensammlung und -auswertung (EG) Training t3 Datensammlung und -auswertung (KG) t1 t2 Training t4 Anmerkungen: EG = Experimentalgruppe; KG= Kontrollgruppe = Messzeitpunkte =Beobachtung Verhalten Ablaufschema und Erhebungszeitpunkte der Evaluation des Trainings- beziehungsweise BBS-Verfahrens Zum ersten Erhebungszeitpunkt t0 wurde zunächst der Input (Status quo) am Pilotstandort (Experimentalgruppe — EG, Standort 1) sowie auch am zweiten Standort (Kontrollgruppe — KG) ermittelt. Vor Trainingsbeginn wurden dazu technische, organisatorische und personale Voraussetzungen erhoben. Dies geschah mithilfe einer Dokumentenanalyse sowie einem Interview mit der Fachkraft für Arbeitssicherheit und Begehungen zur Beobachtung des Arbeitsverhaltens auf dem Shopfloor. Im Vordergrund stand dabei die Frage, wie die Beschäftigten das aktuell gelebte Sicherheitsklima wahrnehmen. Ebenso wurden an beiden Standorten weitere Kennzahlen erfragt — zum Beispiel die Anzahl der Beinaheunfälle, das Ausmaß der Fehlzeiten sowie weitere relevante Rahmenbedingungen. Die Dokumentenanalyse dient der Gewinnung zusätzlicher Daten, um weitere Einflussfaktoren bezogen auf die Wirksamkeit des Trainings beurteilen zu können. Ebenso wurden am Standort 1 Interviews mit den Führungskräften durchgeführt, um auch den Einflussfaktor der Führung beurteilen zu können. und ausgewertet. Dies erfolgte mithilfe von Zufriedenheitsfragebögen für die SOP- und Commitment-Workshops, die Teilnehmer jeweils am Ende der Workshops erhielten. Eine gesonderte Befragung erfasste auch die Zufriedenheit mit den Lernvideos und dem E-Learning. Im Wesentlichen wurde abgefragt: die Zufriedenheit mit dem Konzept der Workshops und Videos, mit der Betreuung durch die beiden Trainer, mit den verwendeten Methoden und der empfundene persönliche Nutzen beziehungsweise das persönliche Fazit. Zur Überprüfung der Wirksamkeit des Trainings wird anhand eines Vortest-Nachtest-Designs mit nicht äquivalenter Kontrollgruppe ermittelt, ob durch das Training die unsicheren Handlungen reduziert werden können; zudem wird erhoben, ob sich sowohl das wahrgenommene Sicherheitsklima als auch das Team-Commitment und das Verhalten als »Buddy« sowie der Umgang mit unsicheren Situationen positiv verändert haben. Hierzu wurde ein Fragebogen entwickelt, der die zuvor genannten Konstrukte erfasst. 40
WERKWANDEL 03/2024 Arbeitswelt vor Ort Sicherheit am Arbeitsplatz ist oberstes Gebot. | Fotos: © Aintschie, Parradee/stock.adobe.com Die Beschäftigten beider Standorte aus den Bereichen »Logistik« und »Produktion« erhielten diesen Fragebogen zunächst zum ersten Messzeitpunkt t1 (vor dem Training). Insgesamt sind für die Experimentalgruppe zwei weitere Messzeitpunkte geplant: t2 nach dem letzten Präsenz-Workshop des Trainings sowie t3 drei bis sechs Monate nach dem Training. Möglicherweise wird zusätzlich nach der Trainingsmaßnahme der Kontrollgruppe am Standort 2 eine weitere Fragebogenerhebung nach Beendigung des Trainings durchgeführt (Messzeitpunkt t4; vgl. Abbildung zum Ablaufplan). Ziel ist es, anhand statistischer Berechnungen die zuvor genannten Konstrukte zu vergleichen und zum Ende des Projekts eine Aussage zur Wirksamkeit des Trainings vorlegen zu können. Zudem wurde die Wirksamkeit der BBS-Maßnahmen überprüft. Hierzu legte man zunächst gemeinsam mit den Beschäftigten fest, wie erkannte unsichere Handlungen sicher auszuführen sind. Dies erfolgte in sogenannten SOP-Workshops. Die in den Workshops identifizierten sechs sicheren Verhaltensweisen sollten dann im täglichen Arbeitsprozess durch positives Feedback der Beschäftigten untereinander und der Führungskräfte gestärkt werden. Zwei Beobachter an einer Anlage auf dem Shopfloor stellten fest, ob sich die sicheren Handlungen durch das Feedback steigern lassen (vgl. Abbildung zum Ablaufplan). Erste Ergebnisse des Evaluationsprojekts — BBS schafft Wertschätzung Erste Ergebnisse der Fragebogenumfrage zum Messzeitpunkt t1 zeigen, dass das von den Beschäftigten wahrgenommene Sicherheitsklima an beiden Standorten auf einem guten bis sehr guten Niveau liegt. Ebenso konnte festgestellt werden, dass am zweiten Standort (Kontrollgruppe ohne Training) ein höheres wahrgenommenes Sicherheitsklima, ein höheres Team-Commitment und auch höhere Ausprägungen des Verhaltens als Buddy sowie des sicheren Verhaltens in unsicheren Situationen angegeben wurden. Bezogen auf die durchgeführten SOP- und Commitment-Workshops äußerten alle Beschäftigten eine hohe bis sehr hohe Zufriedenheit mit dem Konzept der Workshops, der Betreuung durch die beiden Trainer und mit den verwendeten Methoden. Alle Workshops wurden insgesamt als »sehr gut« oder »gut« bewertet. Auch gaben die Teilnehmer an, dass sie daraus etwas für ihre tägliche Arbeit mitnehmen konnten (Lern- und Transfererfolg). Einige Beschäftigte erklärten sogar, konkrete Lernerfahrungen für ihren Alltag mitgenommen zu haben. Insgesamt meldeten die Beschäftigten zurück, dass es für sie sehr wichtig sei und auch eine große Wertschätzung zeige, dass sich ihr Betrieb so umfassend mit dem Thema der Arbeitssicherheit beschäftigt und so etwas für ihre Gesundheit und Sicherheit getan habe. Die ersten Ergebnisse der Interviews mit den Führungskräften zeigen, dass alle Vorgesetzten sich ihrer Rolle und ihrer Verantwortung für die Arbeitssicherheit der Beschäftigten sehr bewusst sind und das Thema sehr ernst nehmen. Zudem erklärten alle Führungskräfte, vollständige Informationen für Notfallsituationen zu haben. Uneingeschränkt würden sie beim Thema »Arbeitssicherheit« auch durch die Sicherheitsfachkraft und die weiteren Führungskräfte unterstützt. Noch Verbesserungspotenzial sehen sie bei den Themen »positive Verstärkung« beziehungsweise »positives Feedback«. Die Ergebnisse der bisher durchgeführten zwei Beobachtungszeiträume zeigten im Vergleich der Messungen 1 und 2 Verbesserungen bei jeder der sechs definierten Verhaltensweisen — 41
