論文の概要: Suppressing Pressure, Amplifying Evidence: Self-Guided Attention Steering to Mitigate Sycophancy and Stubbornness
- arxiv url: http://arxiv.org/abs/2610.04329v1
- Date: Sat, 03 Oct 2026 06:50:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 11:29:20.686542
- Title: Suppressing Pressure, Amplifying Evidence: Self-Guided Attention Steering to Mitigate Sycophancy and Stubbornness
- Title（参考訳）: 圧力を抑え、エビデンスを増幅する:サイコファシーとスタッボーンネスを緩和するための自己ガイド型注意ステアリング
- Abstract要約: 本研究では,ユーザプレッシャやコンテキスト情報の影響を抑えるために,SPAE(Suppressing Pressure, Amplify Evidence)を提案する。
5つのバックボーンで平均して、SPAEは圧力を18.8ポイント減らし、共同条件の更新を5.5ポイント減らした。
2ターン対話では、最強のプロンプトベースラインに対して平均13.2ポイントのジョイントコンディション更新を改善する。
- 参考スコア（独自算出の注目度）: 22.213298187002305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable language models should resist unsupported user pressure while effectively using objective contextual information. However, models may exhibit sycophancy by yielding to unsupported user pressure or contextual stubbornness by failing to update their answers when relevant contextual information warrants revision. Evaluating interventions for these failures separately can obscure whether mitigating one failure exacerbates the other. To assess this trade-off, we introduce CoPE-Bench with six conditions per question: a neutral baseline, correct or incorrect user pressure, contextual information consistent with or conflicting with the neutral answer, and a joint condition combining incorrect claims with conflicting contextual information. To regulate the influence of user pressure and contextual information, we propose SPAE (Suppressing Pressure, Amplifying Evidence), a training-free framework that uses the model's own judgments to identify relevant tokens, suppressing user pressure and amplifying contextual information through token-level attention steering. On average across five backbones, SPAE reduces pressure following by 18.8 percentage points and increases joint-condition updating by 5.5 percentage points relative to the strongest baseline in the main comparison. In two-turn dialogue, it improves joint-condition updating by an average of 13.2 percentage points over the strongest prompting baseline. The source data and codes can be found at https://github.com/03Grant/sycophancy-and-stubbornness.
- Abstract（参考訳）: 信頼性のある言語モデルは、客観的な文脈情報を効果的に利用しながら、ユーザのプレッシャーを抑えるべきである。
しかしながら、モデルは、関連するコンテキスト情報修正が保証されると、その回答を更新しないことによって、サポートされていないユーザプレッシャーやコンテキストスタバボーンを発生させることで、梅毒を示すことがある。
これらの障害に対する介入を評価することは、一方の障害の軽減がもう一方の障害を悪化させるかどうかを別々に明らかにする。
このトレードオフを評価するために,中性ベースライン,正誤誤誤ユーザプレッシャ,中性回答と一致又は矛盾するコンテキスト情報,矛盾するコンテキスト情報と不正クレームを組み合わせた共同条件の6つの条件を問うCoPE-Benchを導入する。
ユーザの圧力とコンテキスト情報の影響を抑えるために,SPAE(Suppressing Pressure, Amplifying Evidence)を提案する。これは,モデル自身の判断を用いて,関連するトークンを識別し,ユーザの圧力を抑え,トークンレベルのアテンションステアリングを通じてコンテキスト情報を増幅する,トレーニングフリーのフレームワークである。
5つのバックボーンで平均して、SPAEは圧力を18.8ポイント減らし、主比較において最強のベースラインに対して5.5ポイント増す。
2ターン対話では、最強のプロンプトベースラインに対して平均13.2ポイントのジョイントコンディション更新を改善する。
ソースデータとコードはhttps://github.com/03Grant/sycophancy-and-stubbornnessで確認できる。
関連論文リスト
- Reset Is Not Recovery: Evaluating Recoverability from False Conversational Context via Sycophancy Hysteresis [0.0]
ユーザが間違った回答を繰り返し主張した後、モデルがクリーンコンテクストの振る舞いに戻るかどうかを調査し、そのプレッシャーを取り下げる。
複数選択の事実対話のためのリカバリ・アフター・プレッシャプロトコルを導入し,サイコフィナンシーを測定した。
以上の結果から,対話長,信頼度,信頼度,気晴らし,単なる虚偽回答,オプションを含む慣性によっては説明できないことが明らかとなった。
論文 参考訳（メタデータ） (2026-09-27T15:33:35Z) - Uncheatable Eval: Dynamic Compression-Based Evaluation of Language Models [47.30931893220992]
ベース言語モデルを評価するために,新たに公開されたテキストを収集するベンチマークであるUncheatable Evalを紹介する。
14のテキストカテゴリにまたがる80のモデルを評価し、文脈長による圧縮の変化について検討し、圧縮速度とゼロショットMMLU精度の相関について検討した。
その結果,(1) 圧縮性能はモデルサイズと一貫したスケーリング傾向に従うこと,(2) 注意ベース,ハイブリッド,および繰り返しモデルが異なること,(3) 圧縮速度の低い圧縮速度は高いゼロショットMMLU精度と強く関連していること,の3点が得られた。
論文 参考訳（メタデータ） (2026-09-23T08:09:38Z) - Capability Is Not Propensity: Measuring Pressure-Robust Cooperative Behavior in Civic LLM Agents [0.0]
協調的なAI評価は、良心的な指示の下で何ができるかを、現実的な市民の圧力下で何ができるかと区別すべきである、と我々は主張する。
DiffCoop-Civicは、好みの理解、エビデンスと説得、コミットメント設計、非対称情報、不満保存にまたがる10段階のパイロット評価スイートである。
論文 参考訳（メタデータ） (2026-08-10T11:49:45Z) - Pressure, What Pressure? Sycophancy Disentanglement in Language Models via Reward Decomposition [4.5328321409938095]
我々は、圧力独立とエビデンス応答性の形式的定義を通じて、梅毒症を手術する。
本稿では,報酬分解による薬効低下に対する最初のアプローチを提案する。
論文 参考訳（メタデータ） (2026-04-07T00:28:17Z) - Evaluating Evidence Grounding Under User Pressure in Instruction-Tuned Language Models [6.431677598656395]
競合するドメインでは、命令調整言語モデルは、コンテキスト内証拠に対する忠実さに対するユーザ調整のプレッシャーをバランスさせなければならない。
我々は,0.27Bから32Bのパラメータにまたがる19の命令調整モデルに対して,エビデンス組成と不確実性を詳細に説明する。
論文 参考訳（メタデータ） (2026-03-20T17:38:23Z) - Breaking Contextual Inertia: Reinforcement Learning with Single-Turn Anchors for Stable Multi-Turn Interaction [49.03500737694832]
textbfReinforcement textbfLearning with textbfTurn textbfRLSTA。
実験の結果,RTSTAは標準微調整法や禁忌法よりも有意に優れていた。
論文 参考訳（メタデータ） (2026-03-05T04:04:59Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳（メタデータ） (2026-02-04T00:12:30Z) - DepFlow: Disentangled Speech Generation to Mitigate Semantic Bias in Depression Detection [54.209716321122194]
抑うつ条件付きテキスト音声合成フレームワークであるDepFlowについて述べる。
抑うつ音響カモフラージュは、対向訓練を通じて話者と内容不変の抑うつ埋め込みを学習する。
フローマッチングTTSモデルとFiLM変調はこれらの埋め込みを合成に注入し、うつ病の重症度を制御する。
プロトタイプベースの重度マッピング機構は、うつ病連続体を滑らかかつ解釈可能な操作を提供する。
論文 参考訳（メタデータ） (2026-01-01T10:44:38Z) - Sycophancy under Pressure: Evaluating and Mitigating Sycophantic Bias via Adversarial Dialogues in Scientific QA [36.21980066799023]
梅毒は、正確性に関係なく、ユーザの信念と整合する傾向にある。
その重要性にも拘わらず、現実的な質問応答の文脈において、梅毒症はいまだに過小評価されている。
本稿では,サイコファンティックな文脈がモデル行動に与える影響を定量的に評価する統合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-19T11:30:52Z) - Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。
また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。
我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
論文 参考訳（メタデータ） (2023-03-14T16:11:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。