論文の概要: Propose and Rectify: A Forensics-Driven MLLM Framework for Image Manipulation Localization

• arxiv url: http://arxiv.org/abs/2508.17976v1
• Date: Mon, 25 Aug 2025 12:43:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.780821
• Title: Propose and Rectify: A Forensics-Driven MLLM Framework for Image Manipulation Localization
• Title（参考訳）: Propose and Rectify: 画像操作ローカライゼーションのための法科学駆動型MLLMフレームワーク
• Abstract要約: 本稿では,意味論的推論と法科学的な分析を橋渡しするPropose-Rectifyフレームワークを提案する。 提案手法は,具体的技術実証により,初期セマンティックな提案が体系的に検証され,拡張されることを保証し,包括的検出精度と局所化精度を実現する。
• 参考スコア（独自算出の注目度）: 49.71303998618939
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing sophistication of image manipulation techniques demands robust forensic solutions that can both reliably detect alterations and precisely localize tampered regions. Recent Multimodal Large Language Models (MLLMs) show promise by leveraging world knowledge and semantic understanding for context-aware detection, yet they struggle with perceiving subtle, low-level forensic artifacts crucial for accurate manipulation localization. This paper presents a novel Propose-Rectify framework that effectively bridges semantic reasoning with forensic-specific analysis. In the proposal stage, our approach utilizes a forensic-adapted LLaVA model to generate initial manipulation analysis and preliminary localization of suspicious regions based on semantic understanding and contextual reasoning. In the rectification stage, we introduce a Forensics Rectification Module that systematically validates and refines these initial proposals through multi-scale forensic feature analysis, integrating technical evidence from several specialized filters. Additionally, we present an Enhanced Segmentation Module that incorporates critical forensic cues into SAM's encoded image embeddings, thereby overcoming inherent semantic biases to achieve precise delineation of manipulated regions. By synergistically combining advanced multimodal reasoning with established forensic methodologies, our framework ensures that initial semantic proposals are systematically validated and enhanced through concrete technical evidence, resulting in comprehensive detection accuracy and localization precision. Extensive experimental validation demonstrates state-of-the-art performance across diverse datasets with exceptional robustness and generalization capabilities.
• Abstract（参考訳）: 画像操作技術の高度化は、変化を確実に検出し、改ざんされた領域を正確に局所化できる堅牢な法医学的ソリューションを必要とする。 近年のMultimodal Large Language Models (MLLM) は、文脈認識検出に世界知識と意味理解を活用することで、将来性を示すが、正確な操作ローカライゼーションに不可欠な微妙で低レベルな法医学的アーティファクトの認識に苦慮している。 本稿では,意味論的推論と法科学的な分析を効果的に橋渡しする,Propose-Rectifyフレームワークを提案する。 提案手法では,法医学的適応型LLaVAモデルを用いて,意味的理解と文脈的推論に基づいて,疑わしい領域の初期的操作解析と予備的局所化を生成する。 修正段階では,複数の特殊なフィルタから技術証拠を統合して,これらの初期提案を体系的に検証し,多スケールの法医学的特徴分析により洗練する法学修正モジュールを導入する。 さらに,SAMのエンコード画像埋め込みに重要な法医学的手がかりを組み込んだ拡張セグメンテーションモジュールを提案する。 先進的マルチモーダル推論と確立された法学手法を相乗的に組み合わせることで,具体的な技術的証拠を通じて初期意味論的提案が体系的に検証され,拡張され,包括的検出精度と局所化精度が保証される。 大規模な実験的検証は、異常な堅牢性と一般化能力を持つ多様なデータセットにわたる最先端のパフォーマンスを示す。

関連論文リスト

• From Detection to Localization: A Unified Forensics Framework for Fully Synthetic and Tampered Images [7.9180538960840385]
  この研究は、統合されたマルチクラスフレームワークを導入することで既存の検出器を拡張する(実対完全生成対タンパー)。 画像認証の分類に加えて、このフレームワークにはセグメンテーションブランチが組み込まれ、改ざんされた領域のピクセルレベルのローカライゼーションを可能にする。 提案手法は、最近選択されたベンチマークよりも優れており、分類精度が向上し、ローカライゼーションタスクのIoUスコアが向上した効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-09-02T14:16:44Z)
• Primitive-Driven Compositional Forensic Visual Prompting for Open-World Face Anti-Spoofing [59.765442274924595]
  視覚的特徴空間で完全に機能する合成視覚的プロンプト学習フレームワークを提案する。 このフレームワークは、学習可能なマイクロ法医学的プリミティブの共有セットを局所的な法医学的エビデンスユニットに洗練するためにパッチ対応の注意を払っている。 9つのオープンワールドプロトコルの実験は、最先端のパフォーマンス、強力なクロスドメインの一般化、そして目に見えない攻撃への堅牢な適応を示す。
  論文  参考訳（メタデータ） (2026-08-18T04:18:08Z)
• Uncertainty-Aware Deepfake Detection via Multi-View Structural Learning [6.951909224842812]
  セキュリティクリティカルなバイオメトリックおよび法医学的応用は、特に分布シフトの下で、正確な予測と信頼性の高い信頼推定を必要とする。 相補的な証拠源間の不整合による操作を識別する不確実性を考慮したディープフェイク検出フレームワークを提案する。 証拠ストリーム間の矛盾を予測的不確実性にリンクする不一致不確実性モデリング機構であるIBDC(Inter-Branch Disagreement)を導入する。
  論文  参考訳（メタデータ） (2026-07-30T18:42:01Z)
• ForensicsTok: Forensics-Guided Tokenized Modeling for Image Tampering Localization [31.83661814822312]
  本稿では,自動回帰シーケンス生成タスクとして画像操作のローカライゼーションを再構成するForensicsTokを提案する。 ForensicsTokは空間的に接地されたトークンシーケンスを直接生成し、中間管理なしで正確なマスク予測を可能にする。
  論文  参考訳（メタデータ） (2026-06-23T13:06:18Z)
• FRAME: Forensic Routing and Adaptive Multi-path Evidence Fusion for Image Manipulation Detection [3.9783598254756023]
  textbfForensic textbfRouting と textbfAdaptive textbfMulti-path textbfEvidence fusion の手法である textbfFRAME を提案する。 FRAMEは多様な法医学的アルゴリズムを多経路解析空間に整理し、各入力画像に対する情報的法医学的パスを適応的に選択し、補完的な証拠を融合して検出とローカライゼーション性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-12T23:48:26Z)
• Modality-Agnostic Prompt Learning for Multi-Modal Camouflaged Object Detection [61.36976558603528]
  本稿では,Segment Anything Model(SAM)のためのモダリティに依存しないマルチモーダルプロンプトを生成する新しいフレームワークを提案する。 具体的には,データ駆動型コンテンツドメインと知識駆動型プロンプトドメインとのインタラクションを通じて,マルチモーダル学習をモデル化する。 さらに,微粒なプロンプトキューを組み込むことで,粗い予測をキャリブレーションする軽量マスクリファインモジュールを導入する。
  論文  参考訳（メタデータ） (2026-04-14T07:13:28Z)
• AgentFoX: LLM Agent-Guided Fusion with eXplainability for AI-Generated Image Detection [21.02452809723292]
  動的多相解析プロセスとしてAIGI検出を再定義するフレームワークである textbfAgentFoX を提案する。 本手法では,キュレートされた知識ベースによって誘導される高速積分融合機構を用いる。 AgentFoXは、その判断を裏付ける詳細な人間可読な法医学レポートを作成している。
  論文  参考訳（メタデータ） (2026-03-24T12:10:21Z)
• REVEAL: Reasoning-enhanced Forensic Evidence Analysis for Explainable AI-generated Image Detection [30.963994372913092]
  我々は、AI生成画像検出のための最初の推論強化マルチモーダルベンチマークである textbfREVEAL-Bench を紹介する。 筆者らのフレームワークは,検出を専門家による新しい強化学習と統合する。 REVEALは検出精度、説明忠実度、堅牢なクロスモデル一般化を著しく向上させる。
  論文  参考訳（メタデータ） (2025-11-28T13:11:08Z)
• From Evidence to Verdict: An Agent-Based Forensic Framework for AI-Generated Image Detection [19.240335260177382]
  AIFo(Agent-based Image Forensics)は、マルチエージェントコラボレーションによる人間の法医学的調査をエミュレートする、トレーニング不要のフレームワークである。 従来の手法とは異なり,本フレームワークでは,リバース画像検索,メタデータ抽出,事前学習型分類器,VLM解析など,一連の法医学的ツールを用いている。 我々の総合的な評価は6000のイメージに及び、現代の生成プラットフォームや多様なオンラインソースの画像を含む現実世界のシナリオに挑戦する。
  論文  参考訳（メタデータ） (2025-10-31T18:36:49Z)
• Beyond Artificial Misalignment: Detecting and Grounding Semantic-Coordinated Multimodal Manipulations [56.816929931908824]
  マルチモーダルデータにおける意味的協調操作の検出の先駆者となった。 本稿では,RamDG(Retrieval-Augmented Manipulation Detection and Grounding)フレームワークを提案する。 我々のフレームワークは既存の手法よりも優れており、SAMMの精度は最先端の手法に比べて2.06%高い。
  論文  参考訳（メタデータ） (2025-09-16T04:18:48Z)
• AD-FM: Multimodal LLMs for Anomaly Detection via Multi-Stage Reasoning and Fine-Grained Reward Optimization [43.86757207244911]
  2つのシナジスティックな革新を通して制限に対処する包括的フレームワークを提案する。 まず、地域識別から集中検査までモデルをガイドする多段階議論的推論プロセスを導入する。 第2に、分類精度と局所化監督を組み込んだ微粒化報酬機構を開発する。
  論文  参考訳（メタデータ） (2025-08-06T08:00:27Z)
• Chances and Challenges of the Model Context Protocol in Digital Forensics and Incident Response [0.0]
  大規模な言語モデルは、法医学的な調査をサポートするためのかなりの約束を持っているが、その広く採用されていることは透明性の欠如によって妨げられている。 本稿では,新たなモデルコンテキストプロトコルがこれらの課題に対処し,デジタル法医学におけるLLMの意義ある活用を支援する方法について考察する。
  論文  参考訳（メタデータ） (2025-05-30T22:15:48Z)
• FakeScope: Large Multimodal Expert Model for Transparent AI-Generated Image Forensics [66.14786900470158]
  本稿では,AIによる画像鑑定に適した専門家マルチモーダルモデル(LMM)であるFakeScopeを提案する。 FakeScopeはAI合成画像を高精度に識別し、リッチで解釈可能なクエリ駆動の法医学的な洞察を提供する。 FakeScopeは、クローズドエンドとオープンエンドの両方の法医学的シナリオで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-03-31T16:12:48Z)
• ForgerySleuth: Empowering Multimodal Large Language Models for Image Manipulation Detection [107.86009509291581]
  我々はForgerySleuthを提案し、包括的ヒント融合を行い、改ざんされた領域を示すセグメンテーション出力を生成する。 ForgeryAnalysisの有効性を実証し,ForgerySleuthが既存手法の堅牢性,一般化性,説明可能性において著しく優れていたことを示す。
  論文  参考訳（メタデータ） (2024-11-29T04:35:18Z)
• Mixture-of-Noises Enhanced Forgery-Aware Predictor for Multi-Face Manipulation Detection and Localization [52.87635234206178]
  本稿では,多面的操作検出と局所化に適したMoNFAPという新しいフレームワークを提案する。 このフレームワークには2つの新しいモジュールが含まれている: Forgery-aware Unified Predictor (FUP) Module と Mixture-of-Noises Module (MNM)。
  論文  参考訳（メタデータ） (2024-08-05T08:35:59Z)
• Diffusion Features to Bridge Domain Gap for Semantic Segmentation [2.8616666231199424]
  本稿では, 拡散モデルの特徴を効率的に活用するために, サンプリングおよび融合技術を活用するアプローチについて検討する。 テキスト・画像生成能力の強みを生かして、暗黙的に後部知識を学習する新しいトレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-02T15:33:46Z)
• Cross-target Stance Detection by Exploiting Target Analytical Perspectives [22.320628580895164]
  目標位置検出(CTSD)は,目標位置からのアノテートデータを利用することで,目標位置の姿勢を推定する重要なタスクである。 CTSDにおける重要なアプローチの1つは、複数のターゲット間の知識ギャップを埋めるために、ドメイン不変の特徴を抽出することである。 本稿では,解析的視点をブリッジとして用いたCTSDのためのMPPTモデルを提案する。
  論文  参考訳（メタデータ） (2024-01-03T14:28:55Z)
• Metrics reloaded: Recommendations for image analysis validation [59.60445111432934]
  メトリクスのリロード(Metrics Reloaded)は、メトリクスの問題を意識した選択において研究者を導く包括的なフレームワークである。 このフレームワークは多段階のDelphiプロセスで開発され、問題指紋という新しい概念に基づいている。 問題指紋に基づいて、ユーザは適切なバリデーションメトリクスを選択して適用するプロセスを通じてガイドされる。
  論文  参考訳（メタデータ） (2022-06-03T15:56:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。