論文の概要: Hidden Commitment: When Language Models Silently Pick a Side and How Steering Can Surface It
- arxiv url: http://arxiv.org/abs/2610.38296v1
- Date: Wed, 28 Oct 2026 05:29:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.392031
- Title: Hidden Commitment: When Language Models Silently Pick a Side and How Steering Can Surface It
- Title(参考訳): 隠れたコミットメント:言語モデルがサイドを静かに選択する時とステアリングがそれを表面化する方法
- Abstract要約: 2つの文書は、矛盾するコンテキストの質問応答において互換性のない回答をサポートする。
モデルは意見の相違を処理でき、対立を開示するよう要求するプロンプトの下でも、一方的な回答を返すことができる。
- 参考スコア(独自算出の注目度): 4.579168829735841
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language-model answers are often treated as a visible record of the internal decision that produced them. We test this assumption in conflicting-context question answering, where two supplied documents support incompatible answers. A model can process the disagreement and still return a one-sided answer, even under prompts that ask it to disclose conflict. In Qwen 0.8B, hidden source commitment is captured by a residual source-choice direction whose sign tracks which document the answer uses. Sparse middle-layer MLP writers feed the same coordinate, and steering the coordinate changes the chosen source. A transfer run on Gemma 3 1B preserves the source-choice readout and sparse-write bridge under LLM-audited labels. Conflict disclosure follows a different pattern, appearing weaker, later-layer, and only partially steerable. These results support a practical monitoring strategy for retrieval systems that detects silent source commitment with residual readouts and pairs conflict-surfacing prompts with disclosure steering when the model has selected a side under disagreement.
- Abstract(参考訳): 言語モデルによる回答は、しばしばそれらを生み出した内部決定の可視的記録として扱われる。
我々は,この仮定を,2つの提案された文書が相容れない回答をサポートするコンフリクト・コンテキスト質問応答で検証する。
モデルは意見の相違を処理でき、対立を開示するよう要求するプロンプトの下でも、一方的な回答を返すことができる。
Qwen 0.8Bでは、隠れたソースのコミットメントは、回答を文書化するサイントラックが使用する残差ソース選択方向によってキャプチャされる。
スパース中間層MLPライターは、同じ座標をフィードし、その座標をステアリングすると、選択したソースが変化する。
Gemma 3 1B上の転送実行は、LLM監査ラベルの下でソース選択読み出しおよびスパース書き込みブリッジを保持する。
衝突の開示は異なるパターンに従っており、弱く、後層に見え、部分的に操れるだけである。
これらの結果は、残余の読み出しに対する無声ソースのコミットメントを検知し、モデルが不一致の側を選択した場合に、開示ステアリングを伴う競合対応プロンプトをペアで検出する、検索システムのための実用的な監視戦略を支援する。
関連論文リスト
- DICE: Tilting the Odds through Interface Attackson System One Model [4.1052596260911836]
3つのアダプタ出力における境界置換を持つSystem Oneパイプラインについて検討する。
各アダプタは最終決定を変更できるが、Jevとその認証APIレスポンスはアタッカーコントロールの外にある。
パイロットは、適切な要求レベルの判断が元のタスクとの関係を失う可能性がある場所を特定する。
論文 参考訳(メタデータ) (2026-10-09T23:47:09Z) - Locating Answer-Correctness Signals in Frozen Large Language Models [7.143092874514633]
言語モデルは、解答が正しいかどうかを予測する内部信号を公開する。
答えの正しさはどこで読み取れるのか、どの内部シグナルファミリーがそれを運ぶのか、どのように組み合わせるべきなのかを問う。
一貫した解剖が出現する: 正しさは解答の範囲に集中し、検索中であっても解答トークンから回収され、家族は補足的にそれを運ぶ。
論文 参考訳(メタデータ) (2026-09-29T14:38:26Z) - Parameters vs. Context: TRACE Fine-Tuning for Robust Retrieval-Augmented Generation [8.247532619725524]
Retrieval-Augmented Generation (RAG)は、外部コンテキストを導入することで、大規模言語モデルにおける知識の陳腐化と事実の幻覚を緩和する。
本稿では,RAGのための堅牢な微調整フレームワークであるTRACEを提案する。
論文 参考訳(メタデータ) (2026-09-24T09:53:39Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳(メタデータ) (2026-08-23T03:07:03Z) - Tracing Provenance and Detecting Tampering with Complementary LLM Watermarks [68.64050157343334]
既存の透かしは編集の際は残されているが、このような堅牢性は、敵が帰属を維持しながら重要な内容を変更することを可能にする。
実証と改ざんの証拠を共同で提供する革新的な透かしを導入する。
信号は同じメカニズムを共有するが、独立キーと正規化テキスト上の異なるシードウィンドウを使用するため、一方は編集に耐性があり、もう一方は読み取り可能な変更に敏感である。
論文 参考訳(メタデータ) (2026-08-13T01:55:16Z) - Faithful by Construction: Claim-Anchored Attribution for Multi-Document Summarization [1.1168121941015015]
Claim-Anchored Multi-Docment Summarization framework (CAMS)
Claim-Anchored Multi-Docment Summarization framework (CAMS)
論文 参考訳(メタデータ) (2026-06-22T22:39:08Z) - TrustMargin: Training-Free Arbitration between Parametric Memory and Retrieved Evidence in Large Language Models [10.379427318055434]
我々は、このポストジェネレーションコンフリクトを回答レベルのソース仲裁として研究する。
DirectとRAGが同じ凍結モデルから回答すると、どのソースを信頼するかを判断します。
本稿では,既存の2つの候補をモデル自身の可能性で評価する,トレーニングフリーのプラグイン・アンド・プレイ調停層TRUSTMARGINを提案する。
論文 参考訳(メタデータ) (2026-06-07T01:25:09Z) - Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。
実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。
RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
論文 参考訳(メタデータ) (2025-04-17T16:46:11Z) - Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。
ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。
本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
論文 参考訳(メタデータ) (2023-07-08T04:32:17Z) - Phrase Retrieval for Open-Domain Conversational Question Answering with
Conversational Dependency Modeling via Contrastive Learning [54.55643652781891]
Open-Domain Conversational Question Answering (ODConvQA)は、マルチターン会話を通じて質問に答えることを目的としている。
そこで本研究では,単語列に対する句検索方式を用いて,回答を直接予測する手法を提案する。
論文 参考訳(メタデータ) (2023-06-07T09:46:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。