論文の概要: Authority Bias in Language Models: Source Deference and User Agreement Are Not Interchangeable
- arxiv url: http://arxiv.org/abs/2609.37616v1
- Date: Tue, 29 Sep 2026 13:58:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.592066
- Title: Authority Bias in Language Models: Source Deference and User Agreement Are Not Interchangeable
- Title（参考訳）: 言語モデルにおけるオーソリティバイアス:ソース推論とユーザ合意は交換できない
- Abstract要約: 言語モデルは、ユーザが主張するものと一致しがちである。
オープンウェイトな5つのファミリーと3つのクローズドAPIのギャップを測定します。
ソースの推論とユーザ合意はモデル内での振る舞いの交換にはなりません。
- 参考スコア（独自算出の注目度）: 1.0742675209112622
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models tend to agree with whatever a user asserts, and post-training increasingly targets this sycophancy so that models evaluate claims on their merits rather than deferring to the user. Yet the same models are far more compliant when a wrong answer is attributed to a verified source, which is how retrieval results, tool outputs, and grounded-search content often present information. We measure this gap across five open-weight families and three closed APIs. A single verified-source note endorsing a wrong answer flips 45-88% of baseline-correct responses in seven of eight models, and compliance rises with how authoritative the note sounds. Source deference and user agreement are not behaviorally interchangeable inside the model: on matched items with the same wrong answer, causal interventions can selectively suppress one without equally affecting the other. In three open-weight families, removing a fitted source direction lowers source compliance by 65-80 percentage points while removing a user or assistant direction has far smaller effects, and removing the user direction shows the reverse preference. A separately fitted intervention derived from source-versus-user cue activations moves compliance in both directions while leaving the prompt text unchanged. An authority direction fitted on trivia also transfers to PIQA and multi-turn SYCON dialogues without refitting, and removing it lowers wrong-source compliance by tens of percentage points in four of five families with no detected change in MMLU-Pro or GSM8K accuracy at our evaluation sizes. Source deference and user agreement therefore need separate evaluation.
- Abstract（参考訳）: 言語モデルは、ユーザーが主張するものと一致しがちであり、後学習は、モデルがユーザーを遅延させるのではなく、彼らの利益に対する主張を評価するように、この薬局を標的にしている。
しかし、間違った答えが検証された情報源に帰属している場合、同じモデルの方がはるかに適合する。
オープンウェイトな5つのファミリーと3つのクローズドAPIのギャップを測定します。
間違った回答を裏付ける1つの検証されたソースノートは、8つのモデルのうち7つのベースライン修正レスポンスの45～88%を反転させる。
ソース推論とユーザ合意は、モデル内での振る舞いの交換ができない。一致したアイテムが同じ間違った答えである場合、因果的介入は、他方に等しく影響を及ぼすことなく、選択的に一方を抑圧することができる。
3つのオープンウェイトファミリーにおいて、取付けたソース方向の除去は、ユーザまたはアシスタント方向の除去がはるかに少ない一方、ソースコンプライアンスを65〜80ポイント低下させ、ユーザ方向の除去はリバース嗜好を示す。
ソース・リバース・ユーザ・キューのアクティベートから導かれる分離された介入は、プロンプトテキストをそのまま残しながら、両方の方向のコンプライアンスを移動させる。
PIQAとマルチターンSYCONの対話をリフィットせずに転送し、MMLU-ProやGSM8Kの精度が検出されない5つのファミリーのうちの4つのファミリーのうち、数パーセントの不正ソースコンプライアンスを除去する。
そのため、ソース推論とユーザ合意は別々に評価する必要がある。
関連論文リスト
- Persona Following Is Not Selective Control: The Neutrality Gap in LLM User Simulation [62.68603541512519]
大規模言語モデルにおける選択制御の体系的失敗を同定する。
ターゲット属性を変更することで、特定されていない非ターゲット属性に対する応答もシフトする。
非ターゲット属性を未特定のまま残したり、指向性や中立性を宣言する3状態診断を運用する。
論文 参考訳（メタデータ） (2026-09-28T12:34:21Z) - What Would Falsify It? A Variable Specific Evidence Standard for Mechanistic Claims About Self Explanation [0.0]
言語モデルがすでに与えられた答えを説明するとき、その答えを生成した計算を再利用するか、あるいは回答からのみストーリーを再構築するかを示します。
検証された変数の同一性を除去する変数固有nullと、それぞれ正の統計量とをペアリングするエビデンス標準を提案する。
論文 参考訳（メタデータ） (2026-09-26T14:26:14Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - Divergent Response Modes in Frontier Language Models Under Steering Pressure [0.0]
本研究では,6つのフロンティアモデルに対して,300対のベースとステアリングアイテムを3つのカテゴリに分けて評価した。
モデルの違いは、操舵がどれだけ振る舞うかではなく、どのような反応を与えるか、そしていくつかの応答モードが1つか2つしか現れないことにあります。
論文 参考訳（メタデータ） (2026-08-06T20:48:14Z) - Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong [1.2744523252873352]
ブラックボックス(行動)によるFaithCoT-Benchの人間のアノテーションに対する不誠実なCoTの検出。
答えの正しさはあらゆるレベルで問題を構成する。
論文 参考訳（メタデータ） (2026-07-26T04:43:53Z) - Auditing Provenance Sensitivity in LLM Agent Action Selection [0.0]
LLMエージェントは、ユーザリクエスト、ツール出力、検索されたレコード、メモリ、信頼できないテキストを混ぜたコンテキストからツールと引数を選択する。
本稿では,各ツールと引数ターゲットに対して,コンテキスト要素を別々にラベル付けするターゲット固有の認証監査を導入する。
次に、有効な証拠が弱まった場合の挙動を検証し、二次的な局所化診断としてコンテキスト-サブセット相互作用を用いる。
論文 参考訳（メタデータ） (2026-07-23T01:28:18Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。
本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。
ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
論文 参考訳（メタデータ） (2026-05-26T15:38:46Z) - Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science [0.11280931253550518]
6つのTweetEvalタスクに対して、オープンソースの7B命令チューニングモデル(Zephyr、Mistral-Instruct、Qwen2.5-Instruct)を監査する。
3モデルとも中絶の姿勢に中立バイアスを示し、反対の頻度を24～40ポイント過小評価し、中立ラベルを膨らませる。
興味深いことに、Zephyrのヘイトスピーチの有病率推定は、クラス条件誤差が両方の方向で大きいのに対して、ゴールドレートと正確に一致している。
論文 参考訳（メタデータ） (2026-05-12T08:14:10Z) - Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。
故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。
本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
論文 参考訳（メタデータ） (2025-10-16T05:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。