Attributive Prüfmittelfähigkeit: Kappa berechnen, Beispiel

Was die attributive Prüfmittelfähigkeit ist

Die attributive Prüfmittelfähigkeit (Attribute Agreement Analysis, MSA für attributive Merkmale) zeigt, ob Prüfer Teile als gut oder schlecht untereinander, über die Zeit und gegenüber einem bekannten Referenzurteil konsistent beurteilen. Der Kappa-Wert (Cohen) misst diese Übereinstimmung nach Abzug des zufälligen Anteils.

Sie gilt, wenn das Prüfergebnis eine Entscheidung ist (i.O./n.i.O., Gut/Schlecht-Lehre, Fehler vorhanden/nicht vorhanden) und kein Messwert. Für kontinuierliche Daten dient die Messsystemanalyse mit Gauge R&R.

Visuelle Karte zu Kappa und Übereinstimmung

Die Karte zeigt die Übereinstimmungsmatrix zweier Prüfer, die Kappa-Berechnung sowie Wirksamkeit, Schlupfrate und Fehlalarmrate.

Formel für Cohens Kappa

Kappa = (po − pe) ÷ (1 − pe)

• po: beobachteter Anteil der Übereinstimmung (Teile, bei denen beide gleich urteilen).
• pe: zufällig erwarteter Anteil der Übereinstimmung, berechnet aus den Zeilen- und Spaltensummen.

Kappa = 1 bedeutet perfekte Übereinstimmung, 0 Übereinstimmung wie bei Zufall, negative Werte schlechter als Zufall. Die einfache prozentuale Übereinstimmung täuscht: Zwei Prüfer, die fast alles freigeben, stimmen stark überein, ohne einen Fehler zu erkennen. Kappa korrigiert das.

Durchgerechnetes Beispiel: zwei Prüfer, 50 Teile

Fiktives Beispiel. Die Prüfer A und B beurteilen dieselben 50 Teile (i.O. oder n.i.O.), ohne die Antwort des anderen zu kennen.

1. Beobachtete Übereinstimmung: po = (20 + 22) ÷ 50 = 42 ÷ 50 = 0,84.
2. Zufällige Übereinstimmung: pe = (25 × 23 + 25 × 27) ÷ 50² = (575 + 675) ÷ 2.500 = 0,50.
3. Kappa = (0,84 − 0,50) ÷ (1 − 0,50) = 0,34 ÷ 0,50 = 0,68.

Beide stimmen bei 84 % der Teile überein, aber die Hälfte davon wäre rein zufällig zu erwarten. Ein Kappa von 0,68 zeigt nur mäßige bis gute Übereinstimmung.

Wie der Kappa-Wert zu lesen ist

Im Beispiel liegt 0,68 im bedingten Bereich. Prüfen Sie vor der Annahme die 8 abweichend beurteilten Teile (5 + 3): welche Teile, welcher Fehler, und ob das visuelle Kriterium klar war.

Jeden Prüfer mit dem Referenzurteil vergleichen

Liegt ein Referenzurteil vor (Teile von einem Experten oder per Messung bewertet), berechnet man je Prüfer drei Kennzahlen. Fiktives Beispiel: Prüfer A beurteilte 25 gute und 25 schlechte Teile laut Referenz.

• Wirksamkeit: (23 + 21) ÷ 50 = 88 % richtige Entscheidungen.
• Schlupfrate (Fehlerschlupf): 4 ÷ 25 = 16 % der schlechten Teile wurden freigegeben. Das ist der Fehler, der beim Kunden ankommt.
• Fehlalarmrate: 2 ÷ 25 = 8 % der guten Teile wurden zurückgewiesen. Das ist der Fehler, der Ausschuss und Nacharbeit erzeugt.
• Kappa gegen die Referenz: po = 0,88; pe = (27 × 25 + 23 × 25) ÷ 2.500 = 0,50; Kappa = 0,38 ÷ 0,50 = 0,76.

Übliche Kriterien des MSA-Handbuchs: Wirksamkeit über 90 % akzeptabel und 80 % bis 90 % bedingt; Schlupf bis 2 % akzeptabel und bis 5 % bedingt; Fehlalarm bis 5 % akzeptabel und bis 10 % bedingt. Prüfer A mit 88 % Wirksamkeit und 16 % Schlupf braucht Maßnahmen trotz Kappa 0,76: Kappa allein verdeckt, dass der teuerste Fehler das freigegebene schlechte Teil ist.

Studie aufbauen

1. 30 bis 50 Teile wählen, die den Prozess abbilden, etwa je zur Hälfte gut und schlecht, einschließlich Grenzmustern und der realen Fehler der Linie.
2. Referenz festlegen: jedes Teil durch Experten oder Messung beurteilen und das Ergebnis den Prüfern vorenthalten.
3. 2 bis 3 Prüfer einsetzen, die die Prüfung tatsächlich durchführen, unter normalem Licht und Zeitdruck.
4. 2- bis 3-mal wiederholen, Teile in zufälliger Reihenfolge und mit zeitlichem Abstand, um die Wiederholbarkeit zu bewerten.
5. Erfassen in einer Strichliste und Kappa zwischen den Prüfern, je Prüfer gegen sich selbst und gegen die Referenz berechnen. Bei mehr als zwei Prüfern Fleiss-Kappa; bei geordneten Bewertungen (z. B. 1 bis 5) Kendalls Koeffizient. Software wie Minitab übernimmt die Rechnung.
6. Abweichungen angehen: visuelle Grenzmuster festlegen, Beleuchtung und Fehlerbeschreibung verbessern, mit TWI schulen und die Standardarbeit aktualisieren.

Der Studienumfang folgt der Logik des Stichprobenumfangs: Wenige Teile ergeben ein instabiles Kappa.

Wo es eingesetzt wird

• Sichtprüfung von Oberfläche, Schweißnaht, Lackierung und Naht.
• Gut/Schlecht-Lehren und Grenzlehren.
• 100-%-Sortierprüfung und Endprüfung vor dem Versand.
• Kundenanforderungen in APQP und PPAP, für Messsysteme im Prüfplan bzw. Control Plan. In der Automobilindustrie sind dafür das MSA-Handbuch der AIAG und VDA Band 5 gebräuchlich.

Ist die Sichtprüfung anfällig, kann man die menschliche Entscheidung durch Poka-Yoke oder automatische Prüfung ersetzen. Lehren bleiben unter Kalibrierung. Die Losstichprobe folgt danach im AQL-Plan: Sie behebt keinen Prüfer, der falsch urteilt.

Häufige Fehler

• Nur die prozentuale Übereinstimmung verwenden, ohne den Zufall abzuziehen.
• Studie mit wenigen Teilen oder nur mit eindeutig guten und eindeutig schlechten: Kappa fällt zu hoch aus.
• Stark unausgewogenes Verhältnis von guten und schlechten Teilen: Kappa kann trotz hoher Übereinstimmung niedrig sein.
• Prüfer, die wissen, dass sie bewertet werden, und mehr Zeit aufwenden als üblich.
• Zweifelhafte Referenz: Irrt der Experte, misst die Studie seinen Fehler.
• Beim Zahlenwert stehen bleiben: Ohne Behandlung der abweichend beurteilten Teile und eine Korrekturmaßnahme verbessert die Studie nichts.

Häufig gestellte Fragen

Was ist Kappa bei der attributiven Prüfmittelfähigkeit?

Eine Kennzahl für die Übereinstimmung von Beurteilungen nach Abzug der zufällig erwarteten Übereinstimmung. Sie reicht von −1 bis 1.

Wie lautet die Kappa-Formel?

Kappa = (po − pe) ÷ (1 − pe), mit po als beobachteter und pe als zufällig erwarteter Übereinstimmung.

Welches Kappa ist akzeptabel?

Nach der üblichen Richtlinie des MSA-Handbuchs ist über 0,75 gute Übereinstimmung, 0,40 bis 0,75 bedingt und unter 0,40 schlecht.

Wie viele Teile braucht die Studie?

30 bis 50 Teile, etwa je zur Hälfte gut und schlecht, einschließlich Grenzmustern, beurteilt von 2 bis 3 Prüfern in 2 bis 3 Durchgängen.

Was unterscheidet Kappa von Gauge R&R?

Kappa bewertet Entscheidungen (i.O./n.i.O.), Gauge R&R bewertet kontinuierliche Messwerte. Beides gehört zur Messsystemanalyse.

Warum ist die Schlupfrate wichtiger als Kappa?

Weil sie zeigt, wie viele schlechte Teile durchgehen und den Kunden erreichen. Ein Prüfer kann ein ordentliches Kappa haben und dennoch viele Fehler durchlassen.

Über den Autor

Vagner Soares

Spezialist für Lean Manufacturing und Verhaltensmanagement

Über 20 Jahre in der Automobil- und Metallindustrie (GM und Dana), Praktiker für Lean Manufacturing seit 2006. SENAI-Dozent und Mentor im brasilianischen Programm Brasil Mais Produtivo, mit Beratung, Schulung und Audits für über 50 Unternehmen. Er verbindet Qualität, Produktivität und Personalentwicklung.

LinkedInInstagramVollständiges Profil →