論文の概要: The Evidence Anchoring Boundary: Where Visual Interventions Matter and When They Help in Multimodal LLMs
- arxiv url: http://arxiv.org/abs/2610.12981v1
- Date: Fri, 09 Oct 2026 04:26:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.388967
- Title: The Evidence Anchoring Boundary: Where Visual Interventions Matter and When They Help in Multimodal LLMs
- Title(参考訳): 境界線の証拠: 視覚的介入が重要であり, マルチモーダル LLM の助けとなるとき
- Abstract要約: 視覚的介入がどのように活用され、いつ予測を改善するかを検討する。
我々は,質問型の介入をキャリブレーションがサポートしない限り,元の予測を保たせる選択的ルーティングを開発する。
- 参考スコア(独自算出の注目度): 8.109129802422187
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual interventions provide a training-free way to reduce hallucinations in multimodal large language models. However, an intervention may have little leverage at some layers and may damage a correct answer even when it changes the output. We investigate where visual interventions retain leverage and when they improve predictions. First, we apply the same visual-residual edit at successive decoder layers, matching its RMS strength across depth. Across six checkpoints from three model families, we observe a persistent drop in intervention effect and define its operational onset for this edit as the \textbf{Evidence Anchoring Boundary (EAB)}. With boundaries fixed on calibration queries, held-out effects on disjoint evaluation queries before EAB are $13.78\times$--$26.10\times$ larger than those after it. Comparison with intermediate readouts shows that the edit can lose leverage before answer preferences stabilize. Second, we compare counterfactual subtraction across presence, attribute, and relation questions. Subtraction can correct a misleading preference, leave a decision unchanged, or remove a preference supporting the correct answer. Based on these observations, we develop calibrated selective routing, which preserves the original prediction unless calibration supports an intervention for the question type. It improves full-set attribute accuracy by $1.56$--$1.81$ percentage points across three checkpoints, while universal subtraction is neutral or harmful.
- Abstract(参考訳): 視覚的介入は、マルチモーダルな大規模言語モデルにおける幻覚を減らすためのトレーニング不要な方法を提供する。
しかし、介入はいくつかの層ではほとんどレバレッジがなく、出力を変更しても正しい答えを損なう可能性がある。
視覚的介入がどのように活用され、いつ予測を改善するかを検討する。
まず、逐次デコーダ層に同じ視覚的残差編集を適用し、そのRMS強度を深さにわたって一致させる。
3つのモデルファミリーの6つのチェックポイントにまたがって、介入効果の持続的な低下を観察し、この編集の運用開始を「textbf{Evidence Anchoring boundary (EAB)」として定義する。
キャリブレーションクエリに固定されたバウンダリでは、EDB以前の不整合評価クエリに対するホールドアウト効果は、13.78\times$--26.10\times$それよりも大きい。
中間読み出しと比較すると、回答の選好が安定する前に、編集がレバレッジを失う可能性がある。
第二に、存在、属性、関係性に関する質問に対する反実的減算を比較する。
サブトラクションは誤解を招く好みを訂正したり、決定をそのまま残したり、正しい答えを支持する好みを削除したりすることができる。
これらの観測に基づいて、キャリブレーションが質問タイプへの介入をサポートしない限り、元の予測を保ちながら、キャリブレーションの選択的ルーティングを開発する。
完全セット属性の精度を3つのチェックポイントで1.56$--1.81$%改善し、ユニバーサルサブトラクションは中立または有害である。
関連論文リスト
- Inside VLM Chart Reading: Tracing Value Reading from Vertical Bar Charts Across Space and Depth [50.62320148925983]
視覚言語モデル(VLM)は、チャートの質問に正確に答えることができるが、正確な値を取り戻すのに必要な証拠をどのように組み合わせるかは、出力精度が示さない。
Qwen2.5VL-7B-Instruct および InternVL3.5-8B における反現実的活性化パッチによる垂直バー値の読み出しについて検討した。
論文 参考訳(メタデータ) (2026-09-12T06:28:11Z) - Mechanistic Tomography: Designed Measurement for Control-Oriented Interpretability [0.0]
機械的解釈可能性(Mechanistic interpretability)は、モデルが直接公開しない量を求める。
共有計測構造をメカニスティックトモグラフィーとして定式化する。
この言語は、最もコストのかかる測定から始まり、意図されたスケールでのホールドアウト介入をテストし、単純なミスマッチを校正し、測定ファミリを拡張するという、実用的な手順を提供する。
論文 参考訳(メタデータ) (2026-08-19T18:02:03Z) - Attention Capture Is Not Detection: A Two-Stage Account of How Humans Miss Localized AI Image Edits [0.0]
AI生成の画像編集を抑制するプラットフォームは、検出可能性を単一の未分化プロパティとして扱う。
編集領域はアテンションキャプチャを駆動し、意味的妥当性は判断精度とルック・ブ・フェイル・トゥ・シー(LBFS)エラー率を駆動する。
論文 参考訳(メタデータ) (2026-08-14T01:26:00Z) - The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images [19.417504594148223]
思考と想像」操作は、トークンコストがかなり高い直接推論よりも限界あるいは負の利得しか達成しないことが多い。
返却された視覚的証拠が答えに因果関係があるかどうかを問う。
我々は、視覚ツールの使用を因果グラフとして使用し、観察による経路と行動によるショートカットを分離する。
論文 参考訳(メタデータ) (2026-08-06T17:01:08Z) - Between-User Collapse Under Popularity-Biased Feedback: A Centered-Covariance Theorem and Computable Phase Boundary [0.0]
我々は,人気度の高いBPRトレーニングが,協調フィルタリング埋め込みのユーザ間幾何学にどう影響するかを考察する。
定常アイテムによる人気バイアスのあるフィードバックの下では、$C$は安定した状態に収束する。
次に、その効果の限界について検討する。
論文 参考訳(メタデータ) (2026-08-03T17:33:25Z) - How Does Alignment Tuning Shape Representations of Sycophancy and Related Cue-Induced Biases in LLMs? [53.58941416780391]
本研究は, この感受性, 潜伏性および関連キュー誘発バイアスがモデル内に存在するかを研究する。
我々は、隠れた状態からバイアスごとの方向を抽出し、探索、1つのデータセットの移動、因果的介入の3つの手段によってそれを三角測量する。
論文 参考訳(メタデータ) (2026-07-20T16:10:06Z) - When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression [1.14219428942199]
標準的なプラクティスは、信頼性カットオフで校正されたスコアをしきい値にし、ハードラベルを真実として扱うことである。
疑似ラベリングパイプラインのためのキャリブレーション対応診断装置を開発した。
我々は、下流回帰係数において信頼しきい値が誘導する減衰バイアスの閉形式式を導出する。
論文 参考訳(メタデータ) (2026-05-12T21:49:11Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳(メタデータ) (2026-04-20T13:25:40Z) - Regression-Based Estimation of Causal Effects in the Presence of Selection Bias and Confounding [52.1068936424622]
治療が介入によって設定された場合、対象変数$Y$に対して、予測因果効果$E[Y|do(X)]$を推定する問題を考える。
選択バイアスや欠点のない設定では、$E[Y|do(X)] = E[Y|X]$ となる。
選択バイアスとコンバウンディングの両方を組み込んだフレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-26T13:43:37Z) - Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。
適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
論文 参考訳(メタデータ) (2024-05-24T11:22:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。