論文の概要: TruthLens: Explainable DeepFake Detection for Face Manipulated and Fully Synthetic Data
- arxiv url: http://arxiv.org/abs/2503.15867v1
- Date: Thu, 20 Mar 2025 05:40:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 15:30:52.273799
- Title: TruthLens: Explainable DeepFake Detection for Face Manipulated and Fully Synthetic Data
- Title（参考訳）: TruthLens: 顔操作と完全合成データのための説明可能なディープフェイク検出
- Authors: Rohit Kundu, Athula Balachandran, Amit K. Roy-Chowdhury,
- Abstract要約: 本稿では,DeepFake検出のための新しいフレームワークであるTruthLensを提案する。
TruthLensは、顔操作のDeepFakesと完全なAI生成コンテンツの両方を扱う。
予測のための詳細なテキスト推論を提供する。
- 参考スコア（独自算出の注目度）: 21.315907061821424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Detecting DeepFakes has become a crucial research area as the widespread use of AI image generators enables the effortless creation of face-manipulated and fully synthetic content, yet existing methods are often limited to binary classification (real vs. fake) and lack interpretability. To address these challenges, we propose TruthLens, a novel and highly generalizable framework for DeepFake detection that not only determines whether an image is real or fake but also provides detailed textual reasoning for its predictions. Unlike traditional methods, TruthLens effectively handles both face-manipulated DeepFakes and fully AI-generated content while addressing fine-grained queries such as "Does the eyes/nose/mouth look real or fake?" The architecture of TruthLens combines the global contextual understanding of multimodal large language models like PaliGemma2 with the localized feature extraction capabilities of vision-only models like DINOv2. This hybrid design leverages the complementary strengths of both models, enabling robust detection of subtle manipulations while maintaining interpretability. Extensive experiments on diverse datasets demonstrate that TruthLens outperforms state-of-the-art methods in detection accuracy (by 2-14%) and explainability, in both in-domain and cross-data settings, generalizing effectively across traditional and emerging manipulation techniques.
- Abstract（参考訳）: DeepFakesの検出は、AIイメージジェネレータの普及により、顔操作された完全に合成されたコンテンツの作成が困難になるため、重要な研究領域となっている。
これらの課題に対処するため,DeepFake検出のための新しい,高度に一般化可能なフレームワークであるTruthLensを提案する。
TruthLensのアーキテクチャは、PaliGemma2のようなマルチモーダルな大規模言語モデルのグローバルなコンテキスト理解と、DINOv2のような視覚のみのモデルのローカライズされた特徴抽出機能を組み合わせたものだ。
このハイブリッド設計は両モデルの相補的な強度を活用し、解釈可能性を維持しながら微妙な操作の堅牢な検出を可能にする。
多様なデータセットに関する大規模な実験により、TrathLensは検出精度(2-14%)と説明可能性において最先端の手法よりも優れており、ドメイン内およびクロスデータ設定の両方において、従来の操作テクニックと新興操作テクニックを効果的に一般化している。
関連論文リスト
- INSIGHT: An Interpretable Neural Vision-Language Framework for Reasoning of Generative Artifacts [0.0]
現在の法医学システムは、現実世界の条件下で急速に低下している。
ほとんどの検出器は不透明物として機能し、なぜ画像が合成物としてフラグ付けされるのかについての知見はほとんど得られない。
本稿では,AI生成画像のロバスト検出と透過的説明のための統合フレームワークであるINSIGHTを紹介する。
論文 参考訳（メタデータ） (2025-11-27T11:43:50Z) - Connecting the Dots: Training-Free Visual Grounding via Agentic Reasoning [63.109585527799005]
GroundingAgentは、タスク固有の微調整なしで動作するビジュアルグラウンドティングフレームワークである。
広く使用されているベンチマークでは、平均ゼロショットグラウンドの精度は65.1%である。
また、強い解釈可能性を提供し、各推論ステップを透過的に照らす。
論文 参考訳（メタデータ） (2025-11-24T03:11:08Z) - Seeing Before Reasoning: A Unified Framework for Generalizable and Explainable Fake Image Detection [58.82268659497348]
この失敗の根源は、根本的なミスマッチにある、と私たちは主張する。
本稿では,偽画像検出のための汎用的で説明可能な,会話型アシスタントであるForensic-Chatを提案する。
論文 参考訳（メタデータ） (2025-09-29T20:59:19Z) - Veritas: Generalizable Deepfake Detection via Pattern-Aware Reasoning [45.99344620383706]
階層的な一般化テストで現実の課題をシミュレートするデータセットであるHydraFakeを紹介する。
具体的には、HydraFakeは、厳格なトレーニングと評価のプロトコルとともに、多種多様なディープフェイク技術と、ワイルドなフォージェリーを含んでいる。
We propose Veritas, a multi-modal large language model (MLLM) based Deepfake detector。
論文 参考訳（メタデータ） (2025-08-28T17:53:05Z) - FakeScope: Large Multimodal Expert Model for Transparent AI-Generated Image Forensics [66.14786900470158]
本稿では,AIによる画像鑑定に適した専門家マルチモーダルモデル(LMM)であるFakeScopeを提案する。
FakeScopeはAI合成画像を高精度に識別し、リッチで解釈可能なクエリ駆動の法医学的な洞察を提供する。
FakeScopeは、クローズドエンドとオープンエンドの両方の法医学的シナリオで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-03-31T16:12:48Z) - TruthLens:A Training-Free Paradigm for DeepFake Detection [4.64982780843177]
本稿では,視覚的質問応答(VQA)タスクとしてディープフェイク検出を再定義するトレーニングフリーフレームワークであるTruthLensを紹介する。
TruthLensは最先端の大規模視覚言語モデル(LVLM)を使用して視覚的アーティファクトを観察し記述する。
マルチモーダルアプローチを採用することで、TruthLensは視覚的および意味論的推論をシームレスに統合し、イメージをリアルまたはフェイクとして分類するだけでなく、解釈可能な説明を提供する。
論文 参考訳（メタデータ） (2025-03-19T15:41:32Z) - Spot the Fake: Large Multimodal Model-Based Synthetic Image Detection with Artifact Explanation [15.442558725312976]
本稿では,一般的な合成画像とDeepFake検出タスクの両方を対象とした,大規模マルチモーダルモデルであるFakeVLMを紹介する。
FakeVLMは、本物と偽のイメージを区別し、画像アーティファクトの明確な自然言語説明を提供する。
FakeClueは、7つのカテゴリにわたる10万以上の画像を含む包括的データセットで、自然言語のきめ細かいアーティファクトのヒントで注釈付けされている。
論文 参考訳（メタデータ） (2025-03-19T05:14:44Z) - HFMF: Hierarchical Fusion Meets Multi-Stream Models for Deepfake Detection [4.908389661988192]
HFMFは総合的な2段階のディープフェイク検出フレームワークである。
視覚変換器と畳み込みネットを階層的特徴融合機構を通じて統合する。
私たちのアーキテクチャは、多様なデータセットベンチマークで優れたパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2025-01-10T00:20:29Z) - Look Ma, No Ground Truth! Ground-Truth-Free Tuning of Structure from Motion and Visual SLAM [64.57742015099531]
評価は、モーション(SfM)と視覚SLAM(VSLAM)システムから構造を開発・調整する上で重要である。
この土台真実への依存は、様々な環境におけるSfMおよびSLAMアプリケーションを制限する。
幾何学的基底真理の必要をなくすため,GTF評価手法を提案する。
論文 参考訳（メタデータ） (2024-12-02T04:40:03Z) - Understanding and Improving Training-Free AI-Generated Image Detections with Vision Foundation Models [68.90917438865078]
顔合成と編集のためのディープフェイク技術は、生成モデルに重大なリスクをもたらす。
本稿では,モデルバックボーン,タイプ,データセット間で検出性能がどう変化するかを検討する。
本稿では、顔画像のパフォーマンスを向上させるContrastive Blurと、ノイズタイプのバイアスに対処し、ドメイン間のパフォーマンスのバランスをとるMINDERを紹介する。
論文 参考訳（メタデータ） (2024-11-28T13:04:45Z) - DiffusionFake: Enhancing Generalization in Deepfake Detection via Guided Stable Diffusion [94.46904504076124]
ディープフェイク技術は、顔交換を極めて現実的にし、偽造された顔コンテンツの使用に対する懸念を高めている。
既存の方法は、顔操作の多様な性質のため、目に見えない領域に一般化するのに苦労することが多い。
顔偽造者の生成過程を逆転させて検出モデルの一般化を促進する新しいフレームワークであるDiffusionFakeを紹介する。
論文 参考訳（メタデータ） (2024-10-06T06:22:43Z) - MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。
既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。
そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
論文 参考訳（メタデータ） (2024-09-15T13:08:59Z) - On the Out-Of-Distribution Generalization of Multimodal Large Language
Models [24.431960338495184]
MLLM(Multimodal Large Language Models)の一般化境界について検討する。
我々は、合成画像、実世界の分布シフト、医療画像や分子画像などの特殊なデータセットにまたがるゼロショットの一般化を評価した。
テキスト内学習はMLLMの一般化を著しく向上させ,一般化障壁を克服するための新たな道を開くことができることを示す。
論文 参考訳（メタデータ） (2024-02-09T18:21:51Z) - Sparsity-Guided Holistic Explanation for LLMs with Interpretable
Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。
LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。
本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文 参考訳（メタデータ） (2023-12-22T19:55:58Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z) - Real Face Foundation Representation Learning for Generalized Deepfake
Detection [74.4691295738097]
ディープフェイク技術の出現は、個人のプライバシーと公共の安全に脅威をもたらすため、社会的な問題となっている。
十分な偽の顔を集めることはほぼ不可能であり、既存の検出器があらゆる種類の操作に一般化することは困難である。
本稿では,大規模な実顔データセットから一般表現を学習することを目的としたリアルフェイスファウンデーション表現学習(RFFR)を提案する。
論文 参考訳（メタデータ） (2023-03-15T08:27:56Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳（メタデータ） (2022-03-04T09:08:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。