論文の概要: Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2606.15880v1
• Date: Sun, 14 Jun 2026 16:05:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.917127
• Title: Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルにおける全スペクトル法信号知覚のための深部残差注入
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、その堅牢な意味理解のために、法医学においてますます採用されている。 本稿では,人工物固有の視覚信号を中間層に残路として注入しながら,初期意味処理を保存するためのDeep Visual Residual MLLM(Deep-VRM)を提案する。 これにより、後続のレイヤは意味論的推論と信号レベルの法医学的手がかりを共同でモデル化することができ、驚くべきことに、モデルが入力に応じて異なるレベルの法医学的信号を適応的に活用することを学ぶ。
• 参考スコア（独自算出の注目度）: 51.099179436350376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have been increasingly adopted in forensics for their robust semantic understanding. As AI-generated images become realistic, semantic-level inconsistencies alone are often insufficient for reliable detection. This motivates a critical question: whether MLLMs can achieve full-spectrum forensic signal perception, i.e., capturing low-level generator artifacts without sacrificing pre-trained semantic knowledge. We further perform a layer-wise analysis of forensic signal perception in MLLMs, showing that semantic information is primarily formed in the early-to-middle layers, whereas direct fine-tuning for artifact learning disrupts these semantic representations. Based on this insight, we propose Deep Visual Residual MLLM (Deep-VRM) to preserve early semantic processing while injecting artifact-specific visual signals as a residual path into an intermediate layer, where they are fused with semantic token representations and propagated through subsequent trainable layers. This enables later layers to jointly model semantic reasoning and signal-level forensic cues, and surprisingly, the model learns to adaptively leverage different levels of forensic signals depending on the input, achieving robust and generalizable detection performance. Extensive experiments show that our method achieves state-of-the-art across most benchmarks. The code and data are available at https://github.com/KQL11/Deep-VRM.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)は、その堅牢な意味理解のために、法医学においてますます採用されている。 AI生成画像が現実的になるにつれて、セマンティックレベルの不整合だけでは、信頼できる検出には不十分であることが多い。 これは、MLLMがフルスペクトルの法医学的信号認識、すなわち、事前訓練された意味知識を犠牲にすることなく、低レベルのジェネレータアーティファクトをキャプチャできるかどうかという重要な問題である。 さらに,MLLMにおける法医学的信号知覚の階層的解析を行い,これらの意味的情報は主に前期から中期の層に形成され,一方,人工的な学習のための直接的微調整はこれらの意味的表現を妨害することを示した。 この知見に基づいて, 人工物固有の視覚信号を中間層に残路として注入し, セマンティックトークン表現と融合し, その後のトレーニング可能な層を伝播させながら, 早期セマンティック処理を保存するためのDeep Visual Residual MLLM(Deep-VRM)を提案する。 これにより、後続のレイヤはセマンティック推論と信号レベルの法医学的手がかりを共同でモデル化することができ、驚くべきことに、モデルは入力に応じて異なるレベルの法医学的信号を適応的に活用し、堅牢で一般化可能な検出性能を達成することができる。 大規模な実験により,本手法はほとんどのベンチマークにおいて最先端の手法であることがわかった。 コードとデータはhttps://github.com/KQL11/Deep-VRMで公開されている。

関連論文リスト

• ForensicsTok: Forensics-Guided Tokenized Modeling for Image Tampering Localization [31.83661814822312]
  本稿では,自動回帰シーケンス生成タスクとして画像操作のローカライゼーションを再構成するForensicsTokを提案する。 ForensicsTokは空間的に接地されたトークンシーケンスを直接生成し、中間管理なしで正確なマスク予測を可能にする。
  論文  参考訳（メタデータ） (2026-06-23T13:06:18Z)
• The Regularizing Power of Language-Training Deepfake Detectors [57.529452351298495]
  ディープフェイク検出は一般的に、低レベルのドメイン固有のアーティファクトへの過度な適合に悩まされる。 デュアルエンコーダアーキテクチャを使用し、凍結した特殊検出器とLoRA調整されたMLLMエンコーダをペアリングする。 我々は、モデルが分類する前に記述的推論を生成することを奨励する強化学習段階を採用している。
  論文  参考訳（メタデータ） (2026-05-29T12:01:17Z)
• From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs [50.185593677108436]
  マルチモーダル大言語モデル(MLLM)は、ピクセルレベルの視覚タスクにますます適用されているが、空間的理解の本質的な能力は理解されていない。 本稿では,MLLMパイプライン全体(ビジョンエンコーダ,アダプタ,LSM)の階層的線形探索によるセグメント化能力について検討する。
  論文  参考訳（メタデータ） (2026-03-18T00:22:15Z)
• SIGMAE: A Spectral-Index-Guided Foundation Model for Multispectral Remote Sensing [43.39478017496301]
  Masked Autoencoder (MAE) ベースの事前訓練は、マスク付き画像領域を再構成することで、一般的な特徴表現を学習する強力な能力である。 多スペクトルリモートセンシング画像へのMAEの適用は、複雑な背景、不明瞭なターゲット、マスキング中の意味的ガイダンスの欠如など、依然として困難である。 SIGMAEは、ドメイン固有のスペクトル指標を事前知識として組み込んで、動的トークンマスキングを情報領域へ導く。
  論文  参考訳（メタデータ） (2026-03-08T04:55:41Z)
• Code-in-the-Loop Forensics: Agentic Tool Use for Image Forgery Detection [59.04089915447622]
  ForenAgentはインタラクティブなIFDフレームワークで、MLLMが検出対象に関するPythonベースの低レベルツールを自律的に生成、実行、洗練することができる。 人間の推論にインスパイアされた我々は、グローバルな認識、局所的な焦点、反復的探索、そして全体論的偏見を含む動的推論ループを設計する。 実験の結果,ForenAgent は IFD 課題に対する創発的なツール利用能力と反射的推論を示すことがわかった。
  論文  参考訳（メタデータ） (2025-12-18T08:38:44Z)
• Textual interpretation of transient image classifications from large language models [0.0]
  大規模言語モデル(LLM)は、3つの光過渡的なサーベイデータセット上での畳み込みニューラルネットワークのパフォーマンスレベルにアプローチすることができる。 GoogleのLLMであるGeminiは、さまざまな解像度とピクセルスケールにまたがるデータセットの平均精度を93%達成している。
  論文  参考訳（メタデータ） (2025-10-08T12:12:46Z)
• ForenX: Towards Explainable AI-Generated Image Detection with Multimodal Large Language Models [82.04858317800097]
  ForenXは画像の真正性を識別するだけでなく、人間の思考に共鳴する説明を提供する新しい手法である。 ForenXは、強力なマルチモーダル大言語モデル(MLLM)を使用して、法医学的な手がかりを分析し、解釈する。 本稿では,AI生成画像における偽証拠の記述専用のデータセットであるForgReasonを紹介する。
  論文  参考訳（メタデータ） (2025-08-02T15:21:26Z)
• AU-LLM: Micro-Expression Action Unit Detection via Enhanced LLM-Based Feature Fusion [26.058143518505805]
  本稿では,微妙な強度とデータ不足を伴うマイクロ圧縮データセットにおけるマイクロ圧縮アクションユニット(AU)の検出にLarge Language Modelsを用いた新しいフレームワークであるtextbfAU-LLMを紹介する。 EFPはMulti-Layer Perceptron(MLP)を用いて、特殊な3D-CNNバックボーンからの中間レベル(局所的なテクスチャ)と高レベル(グローバルなセマンティクス)の視覚的特徴を単一の情報密度トークンにインテリジェントに融合する。
  論文  参考訳（メタデータ） (2025-07-29T13:01:59Z)
• Exploring Gradient-Guided Masked Language Model to Detect Textual Adversarial Attacks [50.53590930588431]
  敵対的な例は 自然言語処理システムに深刻な脅威をもたらします 近年の研究では、対角的テキストは通常のテキストの多様体から逸脱していることが示唆されているが、マスク付き言語モデルは正規データの多様体を近似することができる。 まず、マスク付き言語モデリング(MLM)の目的のマスクアンマスク操作を活用するMLMD(Masked Language Model-based Detection)を導入する。
  論文  参考訳（メタデータ） (2025-04-08T14:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。