論文の概要: When Correct Decisions Hide Internal Stress: Decision-State Probing in Multimodal Language Models
- arxiv url: http://arxiv.org/abs/2606.08394v1
- Date: Sun, 07 Jun 2026 01:11:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.08075
- Title: When Correct Decisions Hide Internal Stress: Decision-State Probing in Multimodal Language Models
- Title（参考訳）: 内的ストレスを隠蔽する正しい判断:多モーダル言語モデルにおける決定状態探索
- Authors: Haoran Zhao, Soyeon Caren Han, Eduard Hovy,
- Abstract要約: 我々はS$3$Eを用いてマルチモーダル言語モデルにおける振る舞い-内部疎結合を解析する。
意味紛争候補が過剰な意思決定状態のずれを引き起こすかどうかを測定する。
以上の結果から,強制選択の正確性だけでは,内部決定幾何学の不変性の十分な証明にはならないことが示唆された。
- 参考スコア（独自算出の注目度）: 18.50038551163168
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal language models are typically evaluated through external behavior: selecting the correct image--text match, rejecting unsupported captions, or answering visual queries correctly. However, correct behavior alone does not show that the model's internal decision state remains stable under controlled semantic stress. We study this gap through S$^3$E (Structured Semantic Stress Evaluation), a framework for analyzing behavior-internal decoupling in multimodal language models. S$^3$E uses a positive-anchored A/B forced-choice setup in which an image-supported caption is contrasted against semantic stress candidates under both original and swapped option orders, while hidden states are extracted at the pre-answer decision state. We focus on strict-correct trials, where the model consistently selects the correct caption across both orders. Rather than treating arbitrary hidden-state variation as evidence of instability, we measure whether semantic-conflict candidates induce excess decision-state displacement relative to meaning-preserving controls. Across Qwen3VL, Gemma3, and InternVL3, semantic stress consistently produces positive selected-layer excess displacement over lexical controls despite correct forced-choice behavior, while comparisons against random negatives are model-dependent. We interpret this as a scoped decision-state stress-sensitivity signal rather than evidence of downstream failure or hallucination. Our results suggest that forced-choice correctness alone is not a sufficient certificate of invariant internal decision geometry.
- Abstract（参考訳）: マルチモーダル言語モデルは通常、正しい画像-テキストマッチングの選択、字幕の拒絶、視覚的なクエリの正解など、外部の振る舞いを通じて評価される。
しかし、正しい振る舞いだけでは、モデルの内部決定状態が制御された意味的ストレスの下で安定であることは示さない。
S$^3$E(Structured Semantic Stress Evaluation)は,マルチモーダル言語モデルにおける動作-内部疎結合を解析するためのフレームワークである。
S$3$Eは肯定的なA/B強制選択設定を使用し、画像支援キャプションは、原文およびスワップされたオプション順序の両方の下で意味的ストレス候補と対比される一方、隠蔽状態は、質問前判定状態で抽出される。
我々は厳格な精度の試行に焦点を合わせ、モデルが両方の順序で正しいキャプションを一貫して選択する。
任意の隠蔽状態の変動を不安定性の証拠として扱うのではなく、意味的競合候補が意味保存制御に対して過剰な決定状態の変位を誘発するかどうかを測定する。
Qwen3VL, Gemma3, InternVL3全体では, ランダムな負との比較がモデルに依存しているのに対し, セマンティックストレスは, 正しい強制選択振舞いにもかかわらず, 語彙制御に対する正の選択層過剰変位を連続的に生成する。
我々はこれを、下流の故障や幻覚の証拠というよりは、スコープ化された意思決定状態のストレス感受性信号と解釈する。
以上の結果から,強制選択の正確性だけでは,内部決定幾何学の不変性の十分な証明にはならないことが示唆された。
関連論文リスト
- A CAP-like Trilemma for Large Language Models: Correctness, Non-bias, and Utility under Semantic Underdetermination [0.0]
本稿では,大言語モデル(LLM)に対するCAP様予想を定式化する。
提案されたトリレンマは、意味的下決定の下では、LLMは常に強い正当性、厳密な非バイアス、高ユーティリティを保証できない。
論文 参考訳（メタデータ） (2026-05-12T07:28:38Z) - Prompt Sensitivity in Vision-Language Grounding: How Small Changes in Wording Affect Object Detection [6.055168011374501]
視覚言語モデルは、自然言語クエリを通してオープン語彙オブジェクトをグラウンド化できる。
その結果,「人」「人」「歩行者」といった重なり合うプロンプトが,頻繁に異なる事例を選択していることがわかった。
PCA分析は、この変数はランダムではなく、構造化され、方向性を示す。
論文 参考訳（メタデータ） (2026-04-18T19:55:05Z) - Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models [86.8650252164764]
大規模言語モデル(LLM)は、事実的に誤った出力を生成する傾向にある。
本研究では,LLMへのコンフォメーションスコア変換法を拡張する適応型コンフォメーション予測手法を提案する。
これにより、アクシデントに依存したキャリブレーションが可能となり、条件付きカバレッジを改善しながら、限界範囲のカバレッジ保証が維持される。
論文 参考訳（メタデータ） (2026-04-15T15:35:42Z) - The Confidence Gate Theorem: When Should Ranked Decision Systems Abstain? [0.0]
ランク付けされた決定システムは、いつランク付けされたアウトプットに介入するか、いつ停止するかを判断しなければならない。
信頼に基づく棄権が意思決定の質を単調に改善し、いつ失敗するかを考察する。
論文 参考訳（メタデータ） (2026-03-10T17:44:10Z) - Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。
このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
論文 参考訳（メタデータ） (2026-02-06T12:24:26Z) - Explicit Uncertainty Modeling for Active CLIP Adaptation with Dual Prompt Tuning [51.99383151474742]
デュアルプロンプトチューニングに基づくアクティブCLIP適応のためのロバストな不確実性モデリングフレームワークを提案する。
提案手法は,同一のアノテーション予算の下で,既存のアクティブラーニング手法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2026-02-04T09:01:55Z) - Triangulation as an Acceptance Rule for Multilingual Mechanistic Interpretability [0.0]
このようなモデルに対する力学的な説明は、エンフカス標準を満たすべきであると論じる。
主張は因果的介入を生き残らなければならないし、意味を保ちながら表面が乱れる環境を横切るようにしなければならない。
我々は、相互干渉の分布に近似的な変換スコアとして配置し、実践的解釈可能性アジェンダに接続し、モデルファミリ、言語ペア、タスク間で比較実験的なプロトコルを提示することにより、因果的抽象において三角測量を基礎とする。
論文 参考訳（メタデータ） (2025-12-31T13:03:34Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳（メタデータ） (2025-12-01T11:27:09Z) - Conformal Linguistic Calibration: Trading-off between Factuality and Specificity [41.45862052156885]
本稿では,言語プラグマティクスのレンズを通して,抑止と言語キャリブレーションを結合する枠組みを提案する。
以上の結果から,本手法は実精度に適合した精度で校正出力を生成する。
論文 参考訳（メタデータ） (2025-02-26T13:01:49Z) - Conformal Language Modeling [61.94417935386489]
生成言語モデル(LM)の共形予測のための新しい手法を提案する。
標準共形予測は厳密で統計的に保証された予測セットを生成する。
我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
論文 参考訳（メタデータ） (2023-06-16T21:55:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。