Kostenlos und Open Source
MIT-Lizenz. Frei nutzbar, veränderbar und teilbar. Quellcode auf GitHub.
xdfdet vergleicht neun Wege, einen EfficientNet-B4-Detektor für Gesichtsmanipulationen zu trainieren, anhand von Erkennungsleistung, Zuverlässigkeit der Wahrscheinlichkeiten und den mit den Vorhersagen verbundenen Gesichtsregionen.
Von Senior-KI-Forscher Mert Kaya und Venera Adanova, TED University verfasst · Auf der UBMK 2026 in Istanbul vorgestellt und in IEEE Xplore veröffentlicht.
Wo viel auf dem Spiel steht, hilft das Ergebnis eines Detektors nur, wenn jemand es nachprüfen kann.
Wir nutzen einen verbreiteten Datensatz für manipulierte Gesichtsvideos (FaceForensics++): 1.000 echte Videos, jeweils mit einer manipulierten Kopie. Wir erkennen, richten aus und schneiden die Gesichter zu.
Wir trainieren denselben Detektor (EfficientNet-B4) in neun Varianten mit je drei Durchläufen. Wir verändern Trainingsbilder (Datenaugmentation) und decken Gesichtsteile mit gefüllten Flächen ab (Cutout).
Heatmaps (Grad-CAM) zeigen Bildregionen, die mit einer Vorhersage verbunden sind. Wir messen ihre Intensität in acht Gesichtsregionen.
Jedes Bild ist die Ausgabe des xdfdet-Codes auf einem echten Pexels-Porträt. Die FaceForensics++-Beispiele stammen aus der Masterarbeit.
Das Werkzeug zur Gesichtserkennung MTCNN richtet Gesichter aus und schneidet sie zu. Das Modell nutzt zwölf gleichmäßig verteilte Bilder pro Video.
Die Bibliothek zur Gesichtsanalyse dlib markiert die Punkte, die acht Gesichtsregionen definieren.
Eine Ähnlichkeitskarte vergleicht jedes manipulierte Bild mit seiner echten Vorlage. Dunkle Bereiche sind fast identisch und bestimmen die Platzierung der Abdeckung.
FaceForensics++-Bilder, aus der Masterarbeit
Auf gefälschten Einzelbildern wird ein Landmarken-Polygon über dem ähnlichsten Bereich schwarz, weiß oder mit Zufallspixeln gefüllt. Echte Einzelbilder erhalten einen Stern mit einem Radius von 8 bis 15 Pixeln und derselben Füllung.
Die Bibliothek Albumentations fügt Rauschen, Unschärfe, Farbverschiebungen, Spiegelungen und kleine Drehungen hinzu. Die intensive Stufe wendet sie vier- bis fünfmal so oft an.
Der Detektor für Gesichtsmanipulationen EfficientNet-B4 bewertet zwölf Bilder und mittelt sie zu einem Videowert. Unter 0,5 bedeutet gefälscht.
Diese Heatmap-Methode hebt Regionen hervor, die mit einer Vorhersage verbunden sind. Wir mitteln Karten aus drei Bildern und messen sie je Gesichtsregion.
Wir messen die Trennung echter und gefälschter Videos (AUC), die Klassifikation bei einem Schwellenwert (F1) und Wahrscheinlichkeitsfehler (Brier-Score und Log Loss).
Der Detektor mit Bildvariation und schwarzen Abdeckungen übertrifft den Basisdetektor bei allen vier Kennzahlen.
Bildvariation und schwarze Abdeckungen: AUC 0,8971. Basisdetektor: 0,8678. Beide Werte sind Mittel aus drei Durchläufen; 1,0 bedeutet perfekte Trennung, 0,5 Zufall.
Der Detektor mit Standardaugmentation liegt bei AUC auf dem letzten und bei F1 auf dem zweiten Platz. Die Kennzahlen erfassen verschiedene Aspekte der Erkennung.
Der Detektor mit Bildvariation und zufälliger Abdeckung erreicht einen Log Loss von 0,4656. Der Detektor mit Bildvariation und schwarzer Abdeckung erreicht eine AUC von 0,8971.
Eine Prüfung nach dem Paper, mit 398 unbekannten Videos der Deepfake Detection Challenge (DFDC): Dieselben acht Modelle erreichen eine AUC von 0,60 bis 0,66, gegenüber 0,86 bis 0,90 auf FaceForensics++, und erkennen 15 bis 36 % der Fälschungen.
Kaggle-NotebookDie Nase gehört bei richtigen wie bei falschen Entscheidungen zu den aktivsten Regionen.
Die Studie zeigt, dass gesamte Erkennungswerte die Abhängigkeit von einzelnen Gesichtsregionen verdecken können.
Unterscheiden Sie echte Fotos, Bildschirmaufnahmen und Clips von KI-generierten Inhalten. Schätzen Sie danach Zahlen zu Medien, die KI erzeugt oder verändert.
Zwei Befehle, kein Datensatz nötig. Die Gewichte werden beim ersten Aufruf von Hugging Face geladen.
Python 3.11 bis 3.13.
pip install git+https:/Gibt die Wahrscheinlichkeit für echt und die Entscheidung aus und speichert eine Heatmap mit Messungen der Gesichtsregionen.
xdfdet predict video.mp4 --gradcam cam.pngDiese Werte vergleichen die neun Varianten der Studie. AUC misst die Rangfolge über verschiedene Schwellenwerte; F1 bewertet die Klassifikation am gewählten Schwellenwert.
Die Erkennungsleistung sinkt, wenn diese Modelle unbekannte Videos prüfen.
Die ursprünglichen Varianten wurden mit unterschiedlichen, zufällig gezogenen Testaufteilungen ohne festen Startwert geprüft. Die Mittelwerte aus drei Läufen unterscheiden sich von den Einzellaufwerten der veröffentlichten Modelle. Grad-CAM zeigt Regionen, die mit einer Vorhersage zusammenhängen; eine Heatmap beweist keine Echtheit.
Augmentation mit schwarzem Cutout erreicht in drei FaceForensics++-Läufen eine mittlere AUC von 0,8971, gegenüber 0,8678 für die EfficientNet-B4-Basisvariante. Dieser Vergleich gilt für das Experiment. Auf 398 unbekannten DFDC-Videos erreichen die veröffentlichten Modelle nur 0,60 bis 0,66 AUC. Der verwendete Evaluationsdatensatz beeinflusst das Ergebnis daher erheblich.
xdfdet verwendet Grad-CAM-Heatmaps, um Bildbereiche sichtbar zu machen, die mit einer Vorhersage zusammenhängen. Die Analyse misst die Aktivierung in acht Gesichtsregionen anhand von 68 Landmarken, darunter Augen, Augenbrauen, Nase, Mund und Kiefer. Damit lässt sich das Verhalten des Detektors untersuchen. Die Karten beweisen weder die Ursache einer Manipulation noch die Richtigkeit der Entscheidung.
Acht EfficientNet-B4-Modelle stehen auf Hugging Face und Kaggle bereit. Installieren Sie das Python-Paket aus dem GitHub-Repository und führen Sie xdfdet predict für ein Video aus. Sie erhalten eine Echtheitswahrscheinlichkeit, ein Urteil und auf Wunsch ein Grad-CAM-Bild. Das Paket unterstützt Python 3.11 bis 3.13. Die Gewichte werden beim ersten Aufruf heruntergeladen; der Trainingsdatensatz ist für Vorhersagen nicht erforderlich.
Der xdfdet-Code steht unter der MIT-Lizenz, die acht veröffentlichten Modellgewichte unter CC BY-NC 4.0. Sie wurden mit FaceForensics++ trainiert, dessen Bedingungen die Nutzung auf nichtkommerzielle Forschung beschränken. Sie können den Code prüfen und die Modelle zu Forschungszwecken einsetzen. Für die kommerzielle Nutzung der veröffentlichten Gewichte brauchen Sie die Zustimmung der jeweiligen Rechteinhaber.
Die Studie verwendet 2.000 FaceForensics++-Videos: 1.000 echte Videos und 1.000 zugeordnete manipulierte Kopien. MTCNN erkennt und richtet die Gesichter aus, bevor sie auf 224 mal 224 Pixel zugeschnitten werden. EfficientNet-B4 bewertet zwölf Frames einzeln und mittelt ihre Werte zur Videovorhersage. Neun Trainingsvarianten verändern Augmentation und Cutout bei gleichbleibender Modellarchitektur.
Mert Kayas Masterarbeit von 2025 an der TED University hat die DOI 10.5281/zenodo.18998566. Der Beitrag von Mert Kaya und Venera Adanova, Augmentation and Cutout in Deepfake Detection: A Comparative Study of Accuracy, Calibration, and Attention, wurde auf der UBMK 2026 in Istanbul vorgestellt und auf den Seiten 78 bis 83 in IEEE Xplore veröffentlicht. Die DOI lautet 10.1109/UBMK71847.2026.11745298. Verwenden Sie die BibTeX-Einträge dieser Seite.