Prozessprofiling und Prozessmonitoring
Instrument zur Steuerung individueller beruflicher Rehabilitationsverläufe
Gegenwärtig und zukünftig rückt in der beruflichen Rehabilitation die Prozesssteuerung in den Mittelpunkt des Rehabilitationsprozesses und neue wissenschaftlich überprüfte Instrumente werden hierfür benötigt (Riedel et al., 2009). Dabei muss ein solches Steuerungsinstrument eine Integrationsorientierung aufweisen, die individuelle Leistungserbringung in den Berufsförderungswerken unterstützen und die Selbstbestimmung während der Rehabilitationsmaßnahme gewährleisten.
Basierend auf dem Neuen Rehamodell entwickelte die RWTH Aachen gemeinsam mit 19 Berufsförderungswerken ein solches Prozessprofiling und -monitoring Instrument. Mit dem Prozessprofiling werden Schlüssel-, Gesundheits- und berufsspezifische Fachkompetenzen sowie die individuelle Ausgangssituation eines Rehabilitanden standardisiert erfasst. Abgeleitet daraus werden individuelle Fördermaßnahmen und Zielvereinbarungen getroffen. Zur Beurteilung der Kompetenzen stehen ein Fremdeinschätzungs- und ein Selbsteinschätzungsbogen zur Verfügung. Das zum Prozessprofiling äquivalente Prozessmonitoring wird mehrmalig zeit- und ereignisgesteuert eingesetzt und dient der kontinuierlichen Überprüfung und Steuerung der Rehabilitationsmaßnahme in Hinblick auf die berufliche Integration.
Zielsetzung dieser Arbeit ist die wissenschaftliche Evaluation des Prozessprofilings und –monitorings, abgekürzt PP/PM. Dies ist notwendig, um sicherzustellen, dass am Ende des dreijährigen Entwicklungsprozesses ein qualitativ hochwertiges (Schulze, 2006) und anwenderfreundliches Instrument den BFW zur Verfügung steht und das PP/PM seine Funktion als Steuerungsinstrument erfüllt. Während des Entwicklungsprozesses wurde das PP/PM in sechs Studien hinsichtlich seiner Objektivität, Reliabilität und Validität überprüft. Weiterhin wurde die Akzeptanz und die Ökonomie des PP/PM untersucht.
Um zu ermöglichen, dass das PP/PM eine objektive Beobachtungs- und Bewertungsgrundlage bietet, werden im PP/PM Merkmalsdefinitionen und detaillierten Anweisungen zur Handhabung bereitgestellt. Als zusätzliche Beurteilungshilfe wurden aufgrund von Ergebnissen einer Anwenderbefragung Verhaltensanker eingeführt. Um die Objektivität des PP/PM empirisch zu überprüfen, wurde die Interraterübereinstimmung untersucht. Es konnte gezeigt werden, dass verschiedene Beurteiler denselben Rehabilitanden mit großer Übereinstimmung beurteilen: Prozentuale Übereinstimmung zwischen 65% und 100%; Agreement-Coefficients zwischen .65 und .96.
Eine zuverlässige Erfassung der Kompetenzen muss durch das PP/PM möglich sein. Die empirische Überprüfung der Reliabilität fand anhand der Retest-, Interraterreliabilität und der internen Konsistenz statt. Die Retestreliabilität der PP/PM-Skalen liegen bei der Fremdeinschätzung zwischen .64 und .86 und für die Selbsteinschätzung zwischen .69 und .82 und ist als akzeptabel zu bewerten. Die Interraterreliabilität der einzelnen Kompetenzen des PP/PM - prozentuale Übereinstimmung zwischen in Zusammenarbeit mit 19 BFWs 65% und 100%; Agreement-Coefficients zwischen .65 und .96 - sowie die internen Konsistenzen der Skalen des PP/PM mit α zwischen .68 bis .95 liegen ebenfalls im akzeptablen bis sehr guten Bereich.
Weiterhin wurde als zentrales Gütekriterium die Validität des PP/PM untersucht. Hierfür wurde die Inhalts-, die Kriteriums- sowie die Konstruktvalidität des PP/PM betrachtet.
Um die Inhaltsvalidität des PP/PM zu sichern, wurden Experten der beruflichen Rehabilitation in den Entwicklungsprozess des PP/PM mit einbezogen. Weiterhin wurden die Arbeitgeber zur inhaltlichen Validität des PP/PM befragt. Die Arbeitgeber stuften alle drei Kompetenzbereiche des PP/PMSchlüssel-, Gesundheits- und Fachkompetenzen- sowie jede einzelne Kompetenz des PP/PM für die spätere berufliche Reintegration als wichtig bzw. sehr wichtig ein. Weiterhin fehlt nach Einschätzung der Arbeitgeber keine wichtige berufsbildübergreifende integrationsrelevante Kompetenz. Ihrer Meinung nach sollte im PP/PM noch Raum für berufsspezifische Schlüsselkompetenzen geschaffen werden.
Die Kriteriumsvalidität des PP/PM wurde untersucht, um zu überprüfen, ob ausbildungs- und integrationsrelevante Kompetenzen im PP/PM erfasst werden. Hierfür wurde das PP/PM bei über 700 Rehabilitanden aus 14 BFW eingesetzt und erhoben, ob die Teilnehmer ihre Ausbildung abgebrochen haben und ob bei ihnen zu Maßnahmeende bzw. sechs Monate später ein Arbeitsvertrag vorliegt. Es zeigte sich, dass sich die PP/PM-Profile von Abbrechern und Nicht-Abbrechern bzw. von Teilnehmern mit und ohne Arbeitsvertrag zu allen Erhebungszeitpunkten unterscheiden. Dabei werden die Kompetenzen von Nicht-Abbrechern bzw. Teilnehmern mit Arbeitsvertrag immer positiver eingeschätzt als die von Abbrechern bzw. Teilnehmern ohne Arbeitsvertrag. Anhand von Regressionsanalysen konnte weiterhin gezeigt werden, dass schon anhand der ersten Kompetenzeinschätzung zu Ausbildungsbeginn die Prognose eines Maßnahmeabbruchs bzw. einer beruflichen Reintegration unterstützt werden kann. Weiche Faktoren wie psychisches Befinden oder Zuverlässigkeit sind für den beruflichen Erfolg prognostisch bedeutsam und eine negative Beurteilung in diesen kann als Integrationshemmnis interpretiert werden. Diese Faktoren sind vom BFW zu beeinflussen und bei einer entsprechenden individuellen frühzeitigen Förderung kann die Chance der Teilhabe am Arbeitsleben erhöht werden.
Weiterhin wurde die Konstruktvalidität des PP/PM untersucht, d.h., ob die zu messen beabsichtigten Kompetenzen auch erfasst werden. Dies wurde zum einen anhand von Korrelationen zwischen Selbstund Fremdeinschätzungen des PP/PM belegt. Zum anderen zeigen sich hochsignifikante Zusammenhänge zwischen den einzelnen Kompetenzen des PP/PM und konstruktverwandter etablierter externer Testverfahren.
Als Maß für die Ökonomie des PP/PM wurde die Bearbeitungszeit erfasst. Das PP/PM ist in durchschnittlich fünf Minuten von den Rehabilitanden selbst und in ca. 15 Minuten vom interdisziplinären Rehabilitationsteam zu bearbeiten. Hinzukommt das im Mittel 15 Minuten lange Teilnehmergespräch, in welchem dem Teilnehmer Rückmeldung über die Fremdeinschätzung gegeben wird und der weitere Rehabilitationsverlauf gemeinsam mit dem Teilnehmer geplant wird.
Um die Akzeptanz von Seiten der Belegschaft gegenüber dem PP/PM zu fördern und ein anwenderfreundliches Verfahren zu schaffen, wurden die Anwender in den Entwicklungsprozess mit einbezogen. Die Ergebnisse dreier Anwenderbefragungen zeigen, dass BFW-Mitarbeiter wie auch Rehabilitanden dem PP/PM grundsätzlich positiv gegenüberstehen.
Zusammenfassend sprechen die oben genannten Ergebnisse dieser Arbeit dafür, dass das PP/PM die Gütekriterien erfüllt und in den BFW flächendeckend implementiert werden sollte.