論文の概要: Cross-Modal Latent Influence: Patch-Level Training Sample Attribution for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.14190v1
• Date: Fri, 09 Oct 2026 18:04:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.020443
• Title: Cross-Modal Latent Influence: Patch-Level Training Sample Attribution for Vision-Language Models
• Title（参考訳）: クロスモーダル潜伏効果:ビジョンランゲージモデルに対するパッチレベルトレーニングサンプル属性
• Abstract要約: MOSAIC は,(1) 概念が各モダリティ内でスパースである,2) 連続した画像領域でサポートされている,3) それらを記述するフレーズに一致している,4) ほぼ非相関な,共有スパースな画像空間を学習する。 視覚的証拠は、共有潜在構造をより多く保存しながら、トレーニングデータの属性を著しく再編成することができる。
• 参考スコア（独自算出の注目度）: 37.63665134595864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explaining a vision--language model (VLM) prediction requires tracing training-example influence to the multimodal evidence that mediates it, yet existing attribution methods largely operate only at the sample level. Recent latent-mediated influence methods provide feature-level attribution in language models, but lack the multimodal and spatial structure needed to ground influence in VLMs. We introduce MOSAIC (Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization). It learns a shared sparse image--text latent space whose concepts are 1) sparse within each modality, 2) supported on contiguous image regions, 3) aligned to the phrases that describe them, and 4) approximately decorrelated. It then applies EK-FAC to decompose training-example influence through these concepts and localize their contributions to specific text phrases and image regions. We evaluate MOSAIC on Qwen and Gemma across captioning, chest X-ray understanding, and visual question answering. The learned features are more localized and coherent without degrading task behavior, and ablating influence-ranked latents changes model outputs more than ablating latents ranked by activation or frequency. We find that visual evidence can substantially reorganize training-data attribution while preserving more of the shared latent structure. MOSAIC thus connects where model behavior comes from with what multimodal evidence carries that influence.
• Abstract（参考訳）: 視覚言語モデル(VLM)の予測を説明するには、それを媒介するマルチモーダルなエビデンスに対する訓練例の影響をトレースする必要があるが、既存の帰属法はサンプルレベルでのみ動作する。 近年の潜伏媒介型インフルエンス法は言語モデルに特徴レベルの属性を与えるが,VLMの基盤となるインフルエンスに必要なマルチモーダル構造や空間構造は欠如している。 我々はMOSAIC(Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization)を紹介する。 共有されたスパースなイメージを学習する - 概念を概念とするテキスト潜在空間 1)各モダリティ内でのスパース。 2)連続画像領域のサポート。 3)それらを記述する句に一致し、 4) ほぼ非相関である。 次に、EK-FACを適用して、これらの概念を通じてトレーニング・サンプルの影響を分解し、特定のテキストフレーズや画像領域へのコントリビューションをローカライズする。 我々は,Qwen と Gemma のMOSAIC をキャプション,胸部X線理解,視覚的質問応答で評価した。 学習した特徴は、タスクの振る舞いを劣化させることなくより局所化され、一貫性が保たれる。 視覚的証拠は、共有潜在構造をより多く保存しながら、トレーニングデータの属性を著しく再編成することができる。 したがって、MOSAICはモデル行動の出所とマルチモーダルな証拠が与える影響を結びつける。

関連論文リスト

• Layers, Sinks, and Scaling: Adaptive Evidence Selection for Multimodal Large Language Models [17.809800994999225]
  マルチモーダル大言語モデル(MLLM)は、画像からの視覚的証拠と外部ソースから取得した事実を組み合わせることで、知識集約的な視覚的疑問に答えることができる。 MLLMは、両方のモダリティにおいて関連する証拠を見落とし、正しい回答に必要な文章や視覚領域に弱い参加をすることができる。 近年の取り組みでは、検索したテキストをハイライトし、生成前の視覚領域をマークすることでこの問題に対処しているが、固定されたワンショットポリシーを適用している。 本稿では,アダプティブアロケーション(Adaptive Relevance-Guided Evidence Allocation, AREA)について述べる。
  論文  参考訳（メタデータ） (2026-09-15T08:02:52Z)
• Mitigating Multimodal LLMs Hallucinations via Relevance Propagation at Inference Time [9.870369982132678]
  マルチモーダルな大規模言語モデル(MLLM)は、AIの展望に革命をもたらした。 これらのモデルは、しばしば幻覚に悩まされ、提供された知覚入力から分岐する出力を生成する。 マルチモーダルグラウンド化を促進するために,Learning Inference-time Modality Enhancement (LIME)を提案する。
  論文  参考訳（メタデータ） (2026-05-03T07:58:02Z)
• Towards Understanding Multimodal Fine-Tuning: Spatial Features [25.349396112139214]
  Vision-Language Models (VLM) は、事前訓練された言語モデルとビジョンエンコーダをペアリングすることで、幅広いタスクにおいて強力なパフォーマンスを達成する。 本稿では,ステージワイドモデル差分法によるVLM適応の最初の力学解析について述べる。
  論文  参考訳（メタデータ） (2026-02-06T18:48:18Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• HiLa: Hierarchical Vision-Language Collaboration for Cancer Survival Prediction [55.00788339683146]
  生存予測を改善するための新しい階層型視覚・言語協調フレームワークを提案する。 具体的には、HiLaは事前訓練された特徴抽出器を使用して、パッチレベルとリージョンレベルの両方でWSIから階層的な視覚的特徴を生成する。 このap-proachは、プロンプトから異なる生存関連属性に対応する識別的視覚特徴の包括的学習を可能にする。
  論文  参考訳（メタデータ） (2025-07-07T02:06:25Z)
• DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention [101.99313208598569]
  視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。 視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。 DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-10-28T23:00:40Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。