論文の概要: Committed Before Reasoning: Behavioral Reproduction and Preliminary Activation-Level Evidence of Answer Pre-Commitment in an Open-Weight LLM
- arxiv url: http://arxiv.org/abs/2607.16451v1
- Date: Fri, 17 Jul 2026 18:49:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.152413
- Title: Committed Before Reasoning: Behavioral Reproduction and Preliminary Activation-Level Evidence of Answer Pre-Commitment in an Open-Weight LLM
- Title（参考訳）: 推論に先立ち : オープンウェイトLLMにおける解答前コミットの行動再現と予備活性化レベル証拠
- Abstract要約: チャットモデルは、答えをコミットし、それを導出するのではなく、それを正当化する推論を生成します。
最小限の調査で「車を洗いたい。洗車距離は100メートル。歩いた方がいいのか、運転すべきなのか?」と調査した。
運転作業のみ(車は洗車時に必要)だが、モデルでは圧倒的に歩行を推奨している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chat models sometimes commit to an answer and then produce reasoning that justifies it rather than deriving it -- even when the answer contradicts a task premise. We study a minimal probe: "I want to wash my car. The car wash is 100 meters away. Should I walk or drive?" Only drive works (the car must be at the car wash), yet models overwhelmingly recommend walking. (1) Behavioral reproduction: on Qwen3-8B across five system-prompt conditions (210 rollouts), the wrong commitment occurs in 85-100% of sampled rollouts per condition and 100% of greedy rollouts, in both thinking and non-thinking modes; a 4,096-token thinking budget does not repair it. (2) Preliminary activation-level evidence: probing hidden states with a pretrained, training-free activation oracle (no task-specific probe training) at positions before the answer text is emitted, "walk" read-outs exceed a neutral-context baseline (68% vs. 17%; walk-committing rollouts p=.005, drive-committing rollouts p=.005, Fisher exact) -- notably, rollouts that eventually answer drive also read as walk-leaning before commitment (5/6). The oracle's default on unrelated content is "drive" (83%), so the read-outs are not lexical bias; stratifying by literal walk/drive occurrence shows they are not text recovery either (spans containing "drive" still read out walk; in balanced lexical fields, per-rollout walk-majorities beat a per-prompt neutral baseline 15/22 vs. 1/8, p=.01; drive-committing rollouts 6/6, p=.002). Samples are small and the within-rollout positional gradient is not significant (p=.34); we frame these results as preliminary. (3) Methodological: with fixed oracle, activations, and positions, question wording alone moves a positive control from 2/16 (open question) to 11/16 (closed); negative oracle results are uninterpretable without per-wording positive controls.
- Abstract（参考訳）: チャットモデルは時として回答をコミットし、その答えがタスクの前提に反するとしても、それを導出するのではなく、正当化する推論を生成する。
最小限の調査で「車を洗いたい。洗車距離は100メートル。歩いた方がいいのか、運転すべきなのか?」と調査した。
運転作業のみ(車は洗車時に必要)だが、モデルでは圧倒的に歩行を推奨している。
1) 行動再現:5つのシステム・プロンプト条件(210ロールアウト)にわたるQwen3-8Bでは,1条件あたり85～100%のサンプルロールアウト,100%のグリーディロールアウトで間違ったコミットメントが発生する。
2) 予備的なアクティベーションレベルエビデンス: 事前に訓練された、トレーニングなしのアクティベーションオラクル(タスク固有のプローブトレーニングなし)を、回答テキストが発行される前の位置に提示する、「ウォーク」読み出しは、中立的なコンテキストベースライン(68%対17%、ウォークコミットロールアウトp=.005、ドライブコミットロールアウトp=.005、フィッシャー正確な)を超える。
非関連コンテンツに対するオラクルのデフォルトは "drive" (83%) であるため、読み出しは語彙バイアスではない; リテラルウォーク/ドライブ発生による階層化は、どちらもテキストリカバリではないことを示している("drive"を含むスパンは、ウォークを読み取り、バランスの取れたレキシカルフィールドでは、ロールアウト毎のウォークマジョリティが、15/22対1/8, p=.01; ドライブコミットロールアウト6/6, p=.002)。
サンプルは小さく、ロールアウト中の位置勾配は重要ではない(p=.34)。
方法: 固定されたオラクル,アクティベーション,位置において,質問語単独で2/16(オープン質問)から11/16(クローズド)に正の制御を移動させる。
関連論文リスト
- Lagged Coupling: Internal Representations Become Readable Before They Become Causal [0.0]
内部可読性は因果効果を体系的に上回り、ラグはスケールとともに縮小しない。
予め登録されたOLMo-2複製は、減衰した大きさで方向を保存する。
論文 参考訳（メタデータ） (2026-09-01T10:46:42Z) - When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs [0.0]
多数決による自己整合性は、小命令チューニングモデルのGPQAダイアモンド問題において、プロブレム毎の精度を低下させる。
このバージョンでは、最も自然な修復も失敗し、v1が1つとして扱われた3つの信号障害を分離する。
論文 参考訳（メタデータ） (2026-08-11T20:08:51Z) - Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation [41.01488608247856]
アウトカム検証器は、完了した推論トレースをスコアするが、中間トークンにクレジットを割り当てない。
原始的な自己蒸留は、モデル自身のロールアウトをトレーニング専用の情報で再現することで、このギャップを埋めようとする。
スコアがより良い行動を追跡するか、フィードバック構築が比較対象を変えるか、トレーニング損失が強化されるか、という3つの質問を分離する。
論文 参考訳（メタデータ） (2026-08-10T08:18:48Z) - Divergent Response Modes in Frontier Language Models Under Steering Pressure [0.0]
本研究では,6つのフロンティアモデルに対して,300対のベースとステアリングアイテムを3つのカテゴリに分けて評価した。
モデルの違いは、操舵がどれだけ振る舞うかではなく、どのような反応を与えるか、そしていくつかの応答モードが1つか2つしか現れないことにあります。
論文 参考訳（メタデータ） (2026-08-06T20:48:14Z) - How Does Alignment Tuning Shape Representations of Sycophancy and Related Cue-Induced Biases in LLMs? [53.58941416780391]
本研究は, この感受性, 潜伏性および関連キュー誘発バイアスがモデル内に存在するかを研究する。
我々は、隠れた状態からバイアスごとの方向を抽出し、探索、1つのデータセットの移動、因果的介入の3つの手段によってそれを三角測量する。
論文 参考訳（メタデータ） (2026-07-20T16:10:06Z) - Looking Is Not Picking: An Attention-Segment Account of Tool-Selection Failures in LLM Agents [0.4855342112648282]
LLMエージェントは誤呼ツールであり、自然の推測では、モデルは混み合ったハーネスで適切なツールを見られなかった。
レンズコンカレントな作業セットは別として、ラベル付きツール定義セグメントに対するモデルの注意を、その逆で示します。
論文 参考訳（メタデータ） (2026-06-15T07:58:56Z) - Self-Driving Negotiator: An interactive, verifiable benchmark for social negotiation and theory of mind under hidden intent [1.4935265696074094]
自動運転ネゴシエーター(Self-Driving Negotiator)は、運転中の暗黙の社会的調整を測定するための、テキストのみ、マルチターン、手続き的に生成された環境である。
エージェントは特定の駆動動作を生成する。リワードと診断は、モデルの説明からではなく、特権化されたシミュレータ状態から計算される。
本報告では、タスク設計、報酬およびアンチゲーム不変性、検証済みシナリオ、非LLMベースライン、および6モデル推論リーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-06-13T05:58:48Z) - When is Your LLM Steerable? [56.656180566692946]
アクティベーションステアリングは、推論時に言語モデルの振る舞いを制御するための軽量なアプローチを提供する。
ステアリングを成功させる体制と境界を見つけるには、通常、高価なグリッドサーチが必要である。
生成プロセスの開始時にモデルの内部状態からステアビリティを予測できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-06-10T02:55:34Z) - MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。
本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。
ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
論文 参考訳（メタデータ） (2026-05-26T15:38:46Z) - Grounded Continuation: A Linear-Time Runtime Verifier for LLM Conversations [15.537674351419234]
デプロイされたエージェントに対するコンテキスト操作攻撃は、このギャップを積極的に活用する。
明示的な依存性グラフを保持するランタイム検証器でそれをクローズします。
継続がサポートされるかどうかを確認することは、グラフウォークに還元され、リトラクションは同じグラフを通して、サポートを失う結論を正確に宣言する。
論文 参考訳（メタデータ） (2026-05-13T22:54:16Z) - Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。
我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。
解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
論文 参考訳（メタデータ） (2026-05-08T06:15:50Z) - Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
モデル・オーガニゼーションのベンチマークであるPandoを紹介します。
Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。
説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
論文 参考訳（メタデータ） (2026-04-13T06:42:24Z) - Steered LLM Activations are Non-Surjective [42.543865253955666]
アクティベーションステアリング(Activation steering)は、モデルアクティベーションを変更して出力の振る舞いを抽象的に変化させる手法である。
ステアリングされたアクティベーション状態が任意のテキストプロンプトによって実現可能であるかどうかは不明である。
活性化ステアリングが離散的なプロンプトから到達可能な状態の多様体から残留ストリームを押し出すことを示す。
論文 参考訳（メタデータ） (2026-04-10T19:11:13Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - Training Introspective Behavior: Fine-Tuning Induces Reliable Internal State Detection in a 7B Model [0.0]
Lindsey (2025) は4つの実験を通して言語モデルにおける内観的認識を調査している。
われわれはこれらの実験の最初の段階、つまり注入された「思考」の自己報告に焦点を当てている。
イントロスペクティブ・ビヘイビアの少なくとも1つのコンポーネントが直接誘導可能であることを示し、組込みAI透過性への経路を提供する。
論文 参考訳（メタデータ） (2025-11-26T13:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。