論文の概要: Grounding on Request: Learning Modality Control in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.33841v1
• Date: Sat, 24 Oct 2026 18:30:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.458254
• Title: Grounding on Request: Learning Modality Control in Vision-Language Models
• Title（参考訳）: 要求の根拠:視覚言語モデルにおけるモダリティ制御の学習
• Abstract要約: 紛争保存対策によるモダリティ接地制御の評価を行った。 我々は、視覚的およびテキスト的接地のための新しい単語を導入することで、ネオロジズム学習の上に構築する。 学習したモダリティ語は、自然言語命令の制御を改善する。
• 参考スコア（独自算出の注目度）: 48.16207727751487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When an image and its caption disagree, can a user reliably control which one a vision-language model (VLM) follows? Accuracy alone cannot answer this question, since a model might give the correct answer from parametric knowledge without following the requested evidence. We therefore evaluate modality grounding control through conflict-preserving counterfactual interventions. Specifically, Flip measures whether an initially correct answer follows an edit to the requested modality, while Stay measures whether it remains stable when the competing modality is edited. To learn this control, we build on neologism learning by introducing new words for visual and textual grounding, training only their embeddings while keeping the pretrained model fixed. We also introduce Counterfactual Twin-Margin (CTM) supervision, which uses paired interventions to teach how answer probabilities should change when the requested evidence changes. Across three VLMs on three existing benchmarks and our multi-attribute Ground-CF benchmark, we find that learned modality words improve control over natural-language instructions. Surprisingly, a single learned embedding per modality provides strong lightweight visual control and shows little average degradation on held-out values. LoRA remains strongest overall, although its visual advantage narrows under held-out evaluation. Moreover, counterfactual supervision improves control in several settings where standard supervision is weaker. Finally, we test our method on real-world news video and find that visual control improves when the relevant evidence is made easier to access. Overall, our results show that reliable modality control requires testing not only whether an answer is correct, but whether it continues to follow edits to the modality of choice.
• Abstract（参考訳）: 画像とそのキャプションが一致しない場合、ユーザは、視覚言語モデル(VLM)のいずれかを確実に制御できるだろうか? モデルは、要求された証拠に従うことなく、パラメトリック知識から正しい答えを与えるかもしれない。 そこで我々は、紛争保存対策によるモダリティ接地制御の評価を行った。 具体的には、最初に正しい答えが要求されたモダリティの編集に従うかどうかを計測し、ステイは競合するモダリティが編集されるときに安定であるかどうかを測定する。 この制御を学習するために、視覚的およびテキスト的接地のための新しい単語を導入し、事前訓練されたモデルの修正を維持しながら、それらの埋め込みのみを訓練することにより、ネオロジズム学習を構築した。 また,CTM(Counterfactual Twin-Margin)の監視も導入した。 既存の3つのベンチマークと多属性のGround-CFベンチマークの3つのVLMにおいて、学習されたモダリティワードが自然言語命令の制御を改善することが判明した。 驚くべきことに、モジュールごとの単一の学習された埋め込みは、強力な軽量な視覚制御を提供し、保持された値に対する平均的な劣化をほとんど示さない。 LoRAは総合的に最強だが、視覚的優位性は保留評価下にある。 さらに、標準監督が弱いいくつかの環境では、対実監督が制御を改善している。 最後に,本手法を実世界のニュースビデオで検証し,関連する証拠にアクセスし易い場合に視覚的制御が向上することを確認した。 以上の結果から,信頼性の高いモダリティ制御は,回答が正しいかどうかだけでなく,選択のモダリティに対する編集を継続するかどうかを検査する必要があることが示された。

関連論文リスト

• Learning to Be Monitored: Causal Bounds and Intervention-Aware Post-Training Recipes for Chain-of-Thought Monitorability [53.622648532543344]
  CoT(Chain-of- Thought)モニタリングは、大規模言語モデル(LLM)における潜在的有害な振る舞いをCoTから検出することを目的としている。 介入に基づく評価は、モニタがターゲットの動作が発生したときにCoTからの介入を検知できるかどうかを問うことで、この特性を測定する。 この測定基準は、モニタが実際に介入によって引き起こされた標的行動を検出する頻度を過大評価できることを示す。
  論文  参考訳（メタデータ） (2026-10-22T16:00:17Z)
• What Should Data Teach? Moving Bottlenecks Across Circuit, Store, and Use [18.3334052811574]
  サーキットビューでは、計算の作成、必要なコンテンツの提供、利用可能なルートの選択という、3つの異なるボトルネックが明らかにされている。 350Mモデルの連続実験は、3つの介入を同じ事実に結びつける。
  論文  参考訳（メタデータ） (2026-09-26T22:40:36Z)
• SAVOR: Self-Aware Visual Grounding via Confidence-Calibrated Reinforcement Learning for Multimodal Hallucination Mitigation [4.100479369058624]
  MLLM(Multimodal large language model)は、画像に基づかないオブジェクト、属性、関係について、流動的なクレームを生成する。 Savorは、トークンと回答の信頼性で出力スキーマを拡張するトレーニングフレームワークです。 本研究では,MME や MMBench の一般性を維持しながら幻覚を低減し,DPO よりも低い誤差とデコードベースラインを有することを示す。
  論文  参考訳（メタデータ） (2026-09-15T03:53:32Z)
• FADE: From Passive Verification to Active Discovery in Counterfactual Video Understanding [19.559643217912114]
  既存のMultiple-choice question (MCQ)ベンチマークは、質問や候補オプションを通じて、意図的にターゲットイベントをリークする。 本稿では, 対実的発見と説明のための効果的なトレーニングフレームワークであるFADEを紹介する。 FADEは、DualityVidQA-test と IPV-Bench の3つのタスクにまたがる、最先端の厳密なペアスコアを達成し、GPT-5.6を上回った。
  論文  参考訳（メタデータ） (2026-08-11T10:22:08Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• Reasoning Dynamics and the Limits of Monitoring Modality Reliance in Vision-Language Models [34.388508959416725]
  視覚言語モデル(VLM)における推論ダイナミクスの解析 モデルが慣性に答える傾向にあり、予測に対する早期のコミットメントが強化されていることが分かっています。 Reasoning-trained(推論訓練されたモデル)は、明らかにこのキューを指す傾向が強いが、長いCoTは依然として視覚的に接地しているように見える。
  論文  参考訳（メタデータ） (2026-04-16T11:28:53Z)
• Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
  テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。 現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。 MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T09:23:22Z)
• Taming CATS: Controllable Automatic Text Simplification through Instruction Fine-Tuning with Control Tokens [2.4713807020542773]
  自動テキストの簡易化における制御性は、データと評価によって著しく制限される。 本稿では,個別制御トークンを用いた命令微調整に基づくドメインに依存しないCATSフレームワークを提案する。 標準の単純化と類似度指標は制御の計測に不十分であることを示す。
  論文  参考訳（メタデータ） (2026-04-02T08:44:17Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。