Test der Kontrollwirksamkeit: Unterschied zwischen Design- und Betriebswirksamkeit

So wird die Kontrollwirksamkeit in der Praxis getestet: Unterschied zwischen Design- und Betriebswirksamkeit, Befragung, Beobachtung, Einsichtnahme, Nachvollzug und Beispiel-Arbeitspapier.
Technische Zusammenfassung
Technologie
ISO 19011:2018, ISO/IEC 27001:2022 Abschnitt 9.2, ITGC, SOC 2
Thema
Test von Design- und Betriebswirksamkeit von Kontrollen
Niveau
Mittel bis fortgeschritten
Voraussetzungen
  • Schriftliche Definition der zu testenden Kontrolle (Zweck, Verantwortlicher, Häufigkeit)
  • Vertrautheit mit der Methode der Stichprobenauswahl
In diesem Beitrag7 Abschnitte

Dass eine Kontrolle existiert, zeigt nicht, dass sie funktioniert; dass sie funktioniert, zeigt nicht, dass sie das richtige Risiko adressiert. Interne Auditoren, ITGC-Prüfer und SOC-2-Prüfer testen deshalb zwei Fragen getrennt: Ist die Kontrolle richtig gestaltet, und hat sie über den Zeitraum wie vorgesehen funktioniert? Vor Ort wird beides oft verwechselt; es heißt „Das Verfahren ist schriftlich festgelegt, also gibt es die Kontrolle“, und der Test endet dort. Unten zeigen wir, wie wir Tests der Design- und Betriebswirksamkeit durchführen, wann die vier grundlegenden Testmethoden ausreichen, und ein Beispiel-Arbeitspapier für eine Zugriffskontrolle.

Design- und Betriebswirksamkeit

Die Designwirksamkeit fragt, ob die Kontrolle in der festgelegten Form das betreffende Risiko auf ein akzeptables Niveau senken kann. Betrachtet werden: Ist die Kontrolle an das richtige Risiko gebunden, passt ihre Häufigkeit zur Geschwindigkeit des Risikos, hat die ausführende Person ausreichende Befugnis und Kenntnis, sind die Eingabedaten der Kontrolle vollständig und richtig, ist festgelegt, was bei einer Ausnahme geschieht?

Die Betriebswirksamkeit fragt dagegen, ob die Kontrolle über den Auditzeitraum wie vorgesehen, konsistent und von befugten Personen angewendet wurde. Eine einzige erfolgreiche Anwendung beweist keine Betriebswirksamkeit. Es muss gezeigt werden, dass die Kontrolle in allen aus dem Zeitraum gewählten Stichproben funktioniert hat.

In IT-Kontroll- und Compliance-Audits ändert sich die Reihenfolge nicht: Zuerst wird das Design getestet. Ist das Design mangelhaft, ist der Betriebstest vergebliche Mühe, denn der fehlerfreie Betrieb einer falsch gestalteten Kontrolle senkt das Risiko nicht. Beispiel: Eine Kontrolle, die Konten ausgeschiedener Beschäftigter alle drei Monate sperrt, kann in jedem Quartal vollständig angewendet werden. Kann das Konto einer ausgeschiedenen Person aber drei Monate offen bleiben, liegt das Problem nicht im Betrieb, sondern im Design.

Vergleich der Testmethoden

ISO 19011:2018 und Standards der Abschlussprüfung beschreiben ähnliche Methoden zur Nachweisgewinnung. Die vier Grundmethoden des Kontrolltests werden unten verglichen.

Methode Was wird gemacht? Sicherheitsgrad Typische Verwendung
Befragung Gespräch mit dem Kontrollverantwortlichen Niedrig; allein unzureichend Kontrolle verstehen, Test planen
Beobachtung Die Anwendung der Kontrolle beobachten Mittel; deckt nur den Moment ab Physische Kontrollen, momentane Vorgänge
Einsichtnahme Aufzeichnungen, Freigaben und Berichte prüfen Mittel–hoch Freigaben, Überprüfungsaufzeichnungen
Nachvollzug Der Auditor führt die Kontrolle selbst erneut aus Hoch Abgleiche, automatische Berechnungen

Die Methoden werden kombiniert. Eine typische Kombination: Mit der Befragung erfährt man, wie die Kontrolle funktioniert, mit der Einsichtnahme wird der Nachweis in den gewählten Stichproben verifiziert, bei einer kritischen Stichprobe erfolgt ein Nachvollzug. Beobachtung ist eine wertvolle, aber enge Methode. Weiß der Kontrollverantwortliche, dass er beobachtet wird, kann er die Kontrolle anders anwenden; außerdem sagt die Beobachtung nichts über den Rest des Zeitraums.

Bei der Einsichtnahme bestimmt auch die Quelle des Nachweises den Sicherheitsgrad. Ein direkt aus dem System gezogener Bericht ist verlässlicher als eine manuell zusammengestellte Excel-Tabelle; diese Unterscheidung beschreibt der Vergleich Screenshot und Systembericht ausführlich.

Designtest mit Walkthrough

Ein Walkthrough ist die Verfolgung eines einzelnen Vorgangs von Anfang bis Ende. Ziel ist, mit eigenen Augen zu sehen, dass die Kontrolle wie im Dokument beschrieben existiert und angewendet wird. Schritte:

  1. Kontrolldefinition lesen: Sind Zweck, Risiko, Verantwortlicher, Häufigkeit, Eingabe, Ausgabe und Umgang mit Ausnahmen schriftlich festgelegt?
  2. Mit dem Kontrollverantwortlichen in den Prozess einsteigen: Bitten Sie ihn, jeden Schritt vom Auslösen bis zum Abschluss der Kontrolle zu erklären.
  3. Einen Vorgang verfolgen: Wählen Sie ein echtes Beispiel (etwa den Zugriffsantrag einer im letzten Monat eingetretenen Person) und sehen Sie den Nachweis jedes Schritts im System.
  4. Verlässlichkeit der Eingabe hinterfragen: Woher kommt die Liste oder der Bericht, den die Kontrolle nutzt, und ist er vollständig?
  5. Bewerten, ob das Risiko abgedeckt wird: Verhindert oder erkennt diese Kontrolle das betreffende Risiko rechtzeitig, wenn sie wie vorgesehen funktioniert?

Der vierte Schritt wird am häufigsten übersprungen. Wurde die geprüfte Benutzerliste manuell erstellt, wird ein Konto, das nicht auf der Liste steht, nie überprüft. Ist die Eingabe unvollständig, ist auch die Kontrolle unvollständig.

Betriebstest über den Zeitraum

Der Betriebstest zeigt mit einer Stichprobe, dass die im Design bestätigte Kontrolle über den Auditzeitraum funktioniert hat. Festlegung der Grundgesamtheit, Verifikation ihrer Vollständigkeit und Bestimmung der Stichprobengröße nach Kontrollhäufigkeit beschreibt der Leitfaden Stichprobenauswahl im internen Audit. Nach der Auswahl der Stichproben werden für jede vorab festgelegte Testmerkmale (Attribute) geprüft. Die Testmerkmale werden aus der Kontrolldefinition abgeleitet und bei jeder Stichprobe gleich angewendet: etwa „Gibt es eine Freigabe?“, „Liegt die Freigabe vor dem Vorgang?“, „Ist die freigebende Person befugt?“.

Mögliche Fehler beim Betriebstest:

  • Den Auditierten die Stichproben wählen lassen.
  • Testmerkmale erst nach Prüfung der Stichproben festlegen.
  • Eine im Zeitraum geänderte Kontrolle wie eine einzige Kontrolle testen. Hat sich die Kontrolle in der Mitte des Zeitraums geändert, muss sie als zwei getrennte Zeiträume getestet werden.
  • Eine Ausnahme als „einmalig“ abtun. Ohne Untersuchung der Ursache wird kein Ergebnis geschrieben; wie die Feststellung formuliert wird, beschreibt der Leitfaden Auditfeststellungen schreiben.

Beispiel-Arbeitspapier für einen Test

Das folgende Arbeitspapier wurde für die Kontrolle der vierteljährlichen Überprüfung von Benutzerzugriffen erstellt. Werte und Eintragsnummern sind Beispiele.

KONTROLLE    : ZUG-04 Vierteljaehrliche Zugriffsueberpruefung
RISIKO       : R-12 Zugriff Unbefugter auf kritische Anwendung
DEFINITION   : ERP-Rollenzuweisungen werden innerhalb von 15 Arbeitstagen
               nach Quartalsende von der zustaendigen Abteilungsleitung
               ueberprueft; zu entziehende Berechtigungen entzieht die IT
               innerhalb von 5 Arbeitstagen.
ART / FREQ.  : Manuell, aufdeckend / Vierteljaehrlich
ZEITRAUM     : 01.01.2025 – 31.12.2025   GRUNDGESAMTHEIT: 4 Ueberpruefungen

DESIGNTEST (Walkthrough, Ueberpruefung Q3)
  Eingabeliste per Systembericht aus dem ERP gezogen?   Ja (Bericht + Parameter)
  Prueft eine Fuehrungskraft, die die Rollen kennt?     Ja
  Entzugsantrag und Umsetzung nachvollziehbar?          Ja (Ticket)
  Ergebnis: Design wirksam

BETRIEBSTEST (alle 4 Quartale)
  Testmerkmale: A) rechtzeitig abgeschlossen  B) alle Benutzer auf der Liste
                C) befugte Freigabe            D) Entzuege in 5 Arbeitstagen
  Q1: A✓ B✓ C✓ D✓
  Q2: A✓ B✓ C✓ D✗  (2 Entzuege nach 9 Arbeitstagen erfolgt)
  Q3: A✓ B✓ C✓ D✓
  Q4: A✓ B✓ C✓ D✓
  Nachvollzug: Liste Q4 erneut aus dem ERP gezogen, Benutzerzahl stimmt.

ERGEBNIS     : 1 Ausnahme. Ursache: Urlaubszeit im IT-Team, keine Queue-Verfolgung.
               Feststellung als FS-2025-07 berichtet.
ERSTELLT     : [Name]  DATUM: [Datum]   GEPRUEFT: [Name]

Ein gutes Arbeitspapier ist so detailliert, dass ein anderer Auditor mit denselben Stichproben zum selben Ergebnis kommen kann. Dateinamen oder Ablagelinks der Nachweise werden dem Arbeitspapier hinzugefügt. „Geprüft, in Ordnung“ zu schreiben, ist kein Test. Welche Nachweise bei der Kontrolle der Zugriffsüberprüfung erwartet werden, beschreibt der Leitfaden Nachweis der Zugriffsüberprüfung gesondert.

Testunterschiede bei automatisierten und manuellen Kontrollen

Dimension Manuelle Kontrolle Automatisierte Kontrolle
Fehlerquelle Mensch; Vergessen, Unachtsamkeit Konfiguration; falsche oder geänderte Einstellung
Stichprobe Je nach Häufigkeit mehrere Stichproben Meist einmalige Verifikation der Konfiguration
Haupttestmethode Einsichtnahme, Nachvollzug Prüfung der Konfiguration, Testvorgang
Zugrunde liegende zusätzliche Kontrollen Kompetenz des Kontrollverantwortlichen Änderungsmanagement und privilegierter Zugriff

Dass eine automatisierte Kontrolle mit einem einmaligen Test akzeptiert wird, setzt voraus, dass gezeigt wird, dass sich die Konfiguration über den Zeitraum nicht geändert hat. Wird die Passwortrichtlinie in Active Directory getestet, wird die Einstellung einmal geprüft (Ausgabe von Get-ADDefaultDomainPasswordPolicy und für feinkörnige Passwortrichtlinien Get-ADFineGrainedPasswordPolicy -Filter *). Anschließend werden privilegierte Konten, die diese Einstellung im Zeitraum ändern konnten, und Änderungseinträge geprüft. Übersehen werden können die feinkörnigen Richtlinien: Die Standardrichtlinie wirkt solide, an eine lockerere PSO für eine privilegierte Gruppe denkt aber niemand. Ist die Kontrolle des Änderungsmanagements nicht wirksam, braucht die automatisierte Kontrolle einen breiteren Test; die Konfiguration wird an mehreren Punkten des Zeitraums erneut verifiziert.

Halbautomatische Kontrollen, also Kontrollen, bei denen ein Mensch einen vom System erzeugten Bericht prüft, werden zweiteilig getestet: dass der Bericht vollständig und richtig ist (automatisierter Teil) und dass die Prüfung über den Zeitraum stattfand (manueller Teil). Diese gemischten Kontrollen sind in der Praxis eine häufige Quelle von Ausnahmen. Die Richtigkeit des Berichts wird angenommen, nicht getestet.

Um Design- und Betriebswirksamkeit des Kontrollsatzes unabhängig zu bewerten, kann die Arbeit an IT-Sicherheitsaudit und Kontrollwirksamkeit, um Zugriffs-, Änderungs- und Betriebskontrollen selbst aufzubauen, die Arbeit an IT General Controls (ITGC) genutzt werden. Um zu sehen, dass Zugriffs- und Konfigurationskontrollen in der Live-Umgebung funktionieren, legen Sie den Umfang eines technischen Cybersecurity-Audits fest.

Häufig gestellte Fragen

Wird ein Betriebstest durchgeführt, wenn der Designtest scheitert?

In der Regel nicht. Ist die Kontrolle nicht so gestaltet, dass sie das Risiko adressiert, senkt auch ein fehlerfreier Betrieb über den Zeitraum das Risiko nicht. Die Feststellung wird als Designmangel berichtet; nach der Neugestaltung der Kontrolle erfolgt der Betriebstest in der nächsten Periode.

Kann eine Kontrolle allein durch Befragung getestet werden?

Nein. Die Befragung ist nötig, um zu verstehen, wie die Kontrolle funktioniert, gibt allein aber keine Sicherheit; was eine Person erzählt, und was tatsächlich getan wird, kann abweichen. Stützen Sie die Befragung immer mit Beobachtung, Einsichtnahme oder Nachvollzug.

Warum genügt bei automatisierten Kontrollen eine einzige Stichprobe?

Eine automatisierte Kontrolle funktioniert mit derselben Konfiguration jedes Mal gleich. Ist die Konfiguration einmal verifiziert und lässt sich zeigen, dass sie sich über den Zeitraum nicht verändert hat, kann man folgern, dass die Kontrolle konsistent funktioniert. Deshalb stützt sich der Test automatisierter Kontrollen auf die Wirksamkeit von Änderungsmanagement und Kontrollen privilegierter Zugriffe.

Sind Walkthrough und Designtest dasselbe?

Der Walkthrough ist die verbreitetste Methode des Designtests, aber für sich kein Designtest. Er verfolgt einen Vorgang von Anfang bis Ende und zeigt, dass die Kontrolle existiert und wie beschrieben angewendet wird; der Designtest bewertet zusätzlich, ob die Kontrolle das betreffende Risiko tatsächlich senkt.

Support

Kontaktieren Sie uns für Support oder eine Bestandsaufnahme zu diesem Thema.

Kontaktformular
[email protected]

Eretek Compliance

Bei der Umsetzung von ISO 27001, IATF 16949, TISAX und vergleichbaren Standards führen wir Risikobewertung, Kontrolldesign, Dokumentation und Auditvorbereitung gemeinsam mit Ihnen durch.

Wissenszentrum

Weitere Beiträge

TISAX-Reassessment: Vorbereitung vor Ablauf des Labels

Prüfen Sie Ablauf der Labelgültigkeit, Erwartung des Kunden und Kalender des Prüfdienstleisters gemeinsam. Verifizieren Sie die anzuwendende ISA-Version und planen Sie Zeit für mögliche Korrekturmaßnahmen ein.

Screenshot oder Systembericht? Nachweisarten und Verlässlichkeit

Vergleichen Sie, für welche Kontrolle Screenshot, Systembericht und Transaktionsaufzeichnung genutzt werden können. Zeigen Sie Quelle, Datum, Umfang und Integrität der Aufzeichnung. Maskieren Sie vor dem Teilen unnötige personenbezogene und geschäftliche Daten.