論文の概要: From Sharp Eyes to Expert Mind: Internalizing Expert Knowledge in MLLMs for Tampered Text Detection

• arxiv url: http://arxiv.org/abs/2609.36145v1
• Date: Mon, 28 Sep 2026 19:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 04:28:51.321908
• Title: From Sharp Eyes to Expert Mind: Internalizing Expert Knowledge in MLLMs for Tampered Text Detection
• Title（参考訳）: シャープアイズからエキスパートマインドへ:テキスト検出のためのMLLMにおけるエキスパート知識の内部化
• Abstract要約: Expert Knowledge Internalization (EKI)は、法医学の専門知識をMLLM(Multimodal Large Language Models)に伝達する2段階のフレームワークである。 EKIは、既存のエキスパートモデルベースやMLLMベースの手法よりも最先端の性能と強力な一般化を実現している。
• 参考スコア（独自算出の注目度）: 62.709778159272474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tampered Text Detection (TTD) is essential for safeguarding document authenticity in security-critical workflows. Existing expert models are effective at capturing subtle manipulation traces but often generalize poorly across diverse document domains, while Multimodal Large Language Models (MLLMs) offer stronger semantic understanding and transferability yet remain insensitive to fine-grained forensic artifacts. This complementarity motivates us to investigate how expert forensic perception can be internalized into an MLLM rather than merely accessed through an external module. We identify a fundamental Double Mismatch that hinders this goal: a Spatial Precision Mismatch between coarse visual tokens and tiny tampered regions, and a Perceptual Granularity Mismatch between semantics-oriented pre-training and low-level forensic perception. To address these challenges, we propose Expert Knowledge Internalization (EKI), a progressive two-stage framework that transfers forensic expertise into the MLLM itself. In Stage 1, Text-Focused and Image-Focused strategies establish precise spatial focus on small text regions. In Stage 2, the proposed Forensic-General Representation Alignment (FGRA) loss aligns shallow LLM representations with those of a pre-trained forensic expert, enabling the model to acquire fine-grained artifact perception before such cues are diluted by deeper semantic abstraction. Extensive experiments on multiple in-domain and cross-domain benchmarks demonstrate that EKI achieves state-of-the-art performance and stronger generalization than existing expert-model-based and MLLM-based methods. Moreover, the expert is required only during training, allowing the resulting MLLM to maintain inference efficiency nearly identical to the vanilla model without relying on any external expert at inference.
• Abstract（参考訳）: タンパードテキスト検出(TTD)は、セキュリティクリティカルなワークフローにおける文書の信頼性の保護に不可欠である。 既存の専門家モデルは微妙な修正の痕跡を捉えるのに効果的であるが、多言語大言語モデル(MLLM)はより強力な意味理解と伝達性を提供するが、微粒な法医学的アーティファクトには敏感なままである。 この相補性は、外部モジュールを通してのみアクセスするのではなく、専門家の法医学的認識をMLLMの内部化する方法を調査する動機となっている。 この目的を妨げている基本的な二重ミスマッチは、粗い視覚トークンと小さな改ざん領域の間の空間的精密ミスマッチと、セマンティクス指向の事前学習と低レベルの法医学的知覚の間の知覚的粒度ミスマッチである。 これらの課題に対処するため,我々は,法医学的専門知識をMLLM自体に伝達する,プログレッシブな2段階のフレームワークであるExpert Knowledge Internalization (EKI)を提案する。 ステージ1では、テキストフォーカスと画像フォーカスの戦略が、小さなテキスト領域に正確な空間的焦点を定めている。 ステージ2では、FGRA(Forensic-General Representation Alignment)の損失は、訓練済みの法医学専門家のそれと浅いLLM表現を一致させるため、より深いセマンティック抽象化によって、モデルがより詳細なアーティファクト認識を得ることができる。 複数のドメイン内およびクロスドメインのベンチマーク実験により、EKIは既存のエキスパートモデルベースやMLLMベースの手法よりも最先端のパフォーマンスと強力な一般化を実現していることが示された。 さらに、専門家はトレーニング中のみ必要であり、その結果のMLLMは、推論の外部の専門家に頼ることなく、バニラモデルとほぼ同一の推論効率を維持することができる。

関連論文リスト

• Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild [49.77540427384148]
  本稿では,基礎モデルの汎用的マルチモーダル推論能力を野生でのHOI検出に伝達する,訓練不要なエージェント型フレームワークであるAgenHoIを提案する。 不完全な相互作用発見と複雑な場面におけるあいまいな局所化の課題に対処するために,2つの重要なメカニズムを導入する。 AgentHOIは、リアルタイム設定において、最先端の教師付きおよび弱教師付きメソッドよりも優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-07-15T14:30:20Z)
• Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models [51.099179436350376]
  マルチモーダルな大言語モデル(MLLM)は、その堅牢な意味理解のために、法医学においてますます採用されている。 本稿では,人工物固有の視覚信号を中間層に残路として注入しながら,初期意味処理を保存するためのDeep Visual Residual MLLM(Deep-VRM)を提案する。 これにより、後続のレイヤは意味論的推論と信号レベルの法医学的手がかりを共同でモデル化することができ、驚くべきことに、モデルが入力に応じて異なるレベルの法医学的信号を適応的に活用することを学ぶ。
  論文  参考訳（メタデータ） (2026-06-14T16:05:45Z)
• The Regularizing Power of Language-Training Deepfake Detectors [57.529452351298495]
  ディープフェイク検出は一般的に、低レベルのドメイン固有のアーティファクトへの過度な適合に悩まされる。 デュアルエンコーダアーキテクチャを使用し、凍結した特殊検出器とLoRA調整されたMLLMエンコーダをペアリングする。 我々は、モデルが分類する前に記述的推論を生成することを奨励する強化学習段階を採用している。
  論文  参考訳（メタデータ） (2026-05-29T12:01:17Z)
• Conversational Context Classification: A Representation Engineering Approach [0.0]
  重要な課題は、Large Language Modelsが期待される会話規範から逸脱した時期を正確に検出することである。 本稿では,RepE(Representation Engineering)とOCSVM(One-Class Support Vector Machine)の利用について概説する。 文脈内例に基づいてOCSVMをトレーニングすることにより、LLMの隠れ状態潜在空間内に堅牢な境界を確立する。
  論文  参考訳（メタデータ） (2026-01-18T06:47:35Z)
• Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
  スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。 SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。 近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。 本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
  論文  参考訳（メタデータ） (2025-11-07T22:19:34Z)
• Propose and Rectify: A Forensics-Driven MLLM Framework for Image Manipulation Localization [49.71303998618939]
  本稿では,意味論的推論と法科学的な分析を橋渡しするPropose-Rectifyフレームワークを提案する。 提案手法は,具体的技術実証により,初期セマンティックな提案が体系的に検証され,拡張されることを保証し,包括的検出精度と局所化精度を実現する。
  論文  参考訳（メタデータ） (2025-08-25T12:43:53Z)
• TruthLens: Visual Grounding for Universal DeepFake Reasoning [22.219182461279214]
  TruthLensは、従来のバイナリ分類を超えて、新しく、統一され、非常に一般化可能なフレームワークである。 きめ細かい領域を接地することで、高いレベルのシーン理解を統一することで、TruthLensは透過的なDeepFakeの法医学を提供します。
  論文  参考訳（メタデータ） (2025-03-20T05:40:42Z)
• Semantic Consistency Regularization with Large Language Models for Semi-supervised Sentiment Analysis [20.503153899462323]
  本稿では,半教師付き感情分析のためのフレームワークを提案する。 テキストを意味的に拡張する2つのプロンプト戦略を導入する。 実験により,従来の半教師付き手法よりも優れた性能が得られた。
  論文  参考訳（メタデータ） (2025-01-29T12:03:11Z)
• Stance Detection with Collaborative Role-Infused LLM-Based Agents [39.75103353173015]
  スタンス検出は、ウェブおよびソーシャルメディア研究におけるコンテンツ分析に不可欠である。 しかし、姿勢検出には、著者の暗黙の視点を推測する高度な推論が必要である。 LLMを異なる役割に指定した3段階のフレームワークを設計する。 複数のデータセットにまたがって最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-16T14:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。