論文の概要: Beyond Semantics: Uncovering the Physics of Fakes via Universal Physical Descriptors for Cross-Modal Synthetic Detection
- arxiv url: http://arxiv.org/abs/2604.04608v1
- Date: Mon, 06 Apr 2026 11:50:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:19.182874
- Title: Beyond Semantics: Uncovering the Physics of Fakes via Universal Physical Descriptors for Cross-Modal Synthetic Detection
- Title（参考訳）: セマンティックスを超えて: クロスモーダルな合成検出のためのユニバーサル物理記述子によるフェイクの物理の発見
- Authors: Mei Qiu, Jianqiang Zhao, Yanyun Qu,
- Abstract要約: そこで本研究では,すべてのテストデータセットに対して一貫した離散パワーを示す5つの物理特徴を同定する特徴選択アルゴリズムを提案する。
提案手法は,Wukong や SDv1.4 などのデータセットに対して,ほぼ完全な精度 (99.8%) で,複数のGenimageベンチマーク上での最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 34.95491424781195
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The rapid advancement of AI generated content (AIGC) has blurred the boundaries between real and synthetic images, exposing the limitations of existing deepfake detectors that often overfit to specific generative models. This adaptability crisis calls for a fundamental reexamination of the intrinsic physical characteristics that distinguish natural from AI-generated images. In this paper, we address two critical research questions: (1) What physical features can stably and robustly discriminate AI generated images across diverse datasets and generative architectures? (2) Can these objective pixel-level features be integrated into multimodal models like CLIP to enhance detection performance while mitigating the unreliability of language-based information? To answer these questions, we conduct a comprehensive exploration of 15 physical features across more than 20 datasets generated by various GANs and diffusion models. We propose a novel feature selection algorithm that identifies five core physical features including Laplacian variance, Sobel statistics, and residual noise variance that exhibit consistent discriminative power across all tested datasets. These features are then converted into text encoded values and integrated with semantic captions to guide image text representation learning in CLIP. Extensive experiments demonstrate that our method achieves state-of-the-art performance on multiple Genimage benchmarks, with near-perfect accuracy (99.8%) on datasets such as Wukong and SDv1.4. By bridging pixel level authenticity with semantic understanding, this work pioneers the use of physically grounded features for trustworthy vision language modeling and opens new directions for mitigating hallucinations and textual inaccuracies in large multimodal models.
- Abstract（参考訳）: AI生成コンテンツ(AIGC)の急速な進歩は、実際の画像と合成画像の境界を曖昧にし、しばしば特定の生成モデルに過度に適合する既存のディープフェイク検出器の限界を明らかにした。
この適応性危機は、AI生成画像と自然を区別する本質的な物理的特徴を根本的に再検討することを要求する。
本稿では,(1) 多様なデータセットと生成アーキテクチャにまたがって,AI生成した画像を安定かつ堅牢に識別できる物理的特徴とは何か,という2つの重要な研究課題に対処する。
2)これらの目的画素レベルの機能はCLIPのようなマルチモーダルモデルに統合でき、言語ベースの情報の信頼性を損なうことなく検出性能を向上させることができるか?
これらの質問に答えるために、様々なGANと拡散モデルによって生成された20以上のデータセットにわたる15の物理的特徴を包括的に探索する。
そこで本研究では,ラプラシアン分散,ソベル統計,残雑音分散を含む5つの物理特徴を同定し,一貫した識別力を示す特徴選択アルゴリズムを提案する。
これらの機能はテキストエンコードされた値に変換され、セマンティックキャプションと統合されて、CLIPにおける画像テキスト表現学習をガイドする。
本手法は,Wukong や SDv1.4 などのデータセットに対して,ほぼ完全な精度 (99.8%) で,複数のGenimageベンチマーク上での最先端性能を実現することを実証した。
この研究は、セマンティックな理解でピクセルレベルの認証をブリッジすることで、信頼性の高い視覚言語モデリングに物理的に基礎をおく機能の利用を開拓し、大規模なマルチモーダルモデルにおける幻覚やテキストの不正確さを緩和するための新たな方向を開拓する。
関連論文リスト
- TranX-Adapter: Bridging Artifacts and Semantics within MLLMs for Robust AI-generated Image Detection [70.42796551833946]
テクスチャレベルのアーティファクトとセマンティックな特徴をマルチモーダルな言語モデル(MLLM)に組み込むことで、AIGI検出能力を向上することができる。
本稿では,タスク認識型Optimal-Transport Fusionを統合した軽量フュージョンアダプタTranX-Adapterを提案する。
いくつかの高度なMLLM上での標準AIGI検出ベンチマークの実験は、TranX-Adapterが一貫性と大幅な改善をもたらすことを示している。
論文 参考訳（メタデータ） (2026-02-25T09:22:46Z) - Synthetic Image Detection with CLIP: Understanding and Assessing Predictive Cues [0.0]
CLIPベースの検出器は、強力な視覚的アーティファクトを単に検出するか、微妙なセマンティックバイアスを悪用するかは不明だ。
CLIPベースの検出器は、非相関なアクティベーションとテキストグラウンドの概念モデルを用いて、解釈可能な線形ヘッドを用いて何を学ぶかを分析する。
論文 参考訳（メタデータ） (2026-02-12T20:21:32Z) - Bridging the Gap Between Ideal and Real-world Evaluation: Benchmarking AI-Generated Image Detection in Challenging Scenarios [54.07895223545793]
本稿では,実世界ロバストネスデータセット(RRDataset)を導入し,3次元にわたる検出モデルの包括的評価を行う。
RRDatasetには7つの主要なシナリオの高品質なイメージが含まれている。
我々はRRDataset上で17の検出器と10の視覚言語モデル(VLM)をベンチマークし、大規模な人間実験を行った。
論文 参考訳（メタデータ） (2025-09-11T06:15:52Z) - NS-Net: Decoupling CLIP Semantic Information through NULL-Space for Generalizable AI-Generated Image Detection [14.7077339945096]
NS-Netは、CLIPの視覚的特徴から意味情報を分離する新しいフレームワークである。
実験の結果、NS-Netは既存の最先端手法よりも優れており、検出精度は7.4%向上している。
論文 参考訳（メタデータ） (2025-08-02T07:58:15Z) - Multimodal Conditional Information Bottleneck for Generalizable AI-Generated Image Detection [24.512663807403186]
InfoFDはテキスト誘導型AI生成画像検出フレームワークである。
TGCIB(Text-Guided Conditional Information Bottleneck)とDTO(Dynamic Text Orthogonalization)の2つの重要なコンポーネントを紹介する。
我々のモデルは、GenImageデータセットと最新の生成モデル上で、例外的な一般化性能を達成する。
論文 参考訳（メタデータ） (2025-05-21T07:46:26Z) - FakeScope: Large Multimodal Expert Model for Transparent AI-Generated Image Forensics [66.14786900470158]
本稿では,AIによる画像鑑定に適した専門家マルチモーダルモデル(LMM)であるFakeScopeを提案する。
FakeScopeはAI合成画像を高精度に識別し、リッチで解釈可能なクエリ駆動の法医学的な洞察を提供する。
FakeScopeは、クローズドエンドとオープンエンドの両方の法医学的シナリオで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-03-31T16:12:48Z) - CO-SPY: Combining Semantic and Pixel Features to Detect Synthetic Images by AI [58.35348718345307]
実際の画像とAI生成画像を区別する現在の取り組みには、一般化が欠如している可能性がある。
既存のセマンティック機能を強化した新しいフレームワークCo-Spyを提案する。
また、5つの実画像データセットと22の最先端生成モデルからなる包括的データセットであるCo-Spy-Benchを作成します。
論文 参考訳（メタデータ） (2025-03-24T01:59:29Z) - D-Judge: How Far Are We? Assessing the Discrepancies Between AI-synthesized and Natural Images through Multimodal Guidance [19.760989919485894]
5000の自然画像と440,000以上のAIGIサンプルからなる大規模マルチモーダルデータセットD-ANIを構築した。
次に、AI生成画像(AIGI)が真に現実的なイメージからどこまで遠いのかという、重要な問題に対処するために、AI-Natural Image Discrepancy評価ベンチマーク(D-Judge)を導入します。
論文 参考訳（メタデータ） (2024-12-23T15:08:08Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳（メタデータ） (2024-04-23T11:45:32Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。