論文の概要: Sycophancy Suppression Can Impair Rational Updating: Anti-Sycophancy Should Preserve the Ability to Update
- arxiv url: http://arxiv.org/abs/2608.26511v1
- Date: Thu, 27 Aug 2026 01:20:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.21142
- Title: Sycophancy Suppression Can Impair Rational Updating: Anti-Sycophancy Should Preserve the Ability to Update
- Title（参考訳）: 抗Sycophancy(抗Sycophancy)は、リレーショナル・アップデレーションを損なう可能性がある
- Abstract要約: 大規模な言語モデルは、しばしばサイコフィナンシーを示し、押し戻された時にユーザーと整合するように答えを修正します。
我々はこれらを非支持利潤と合理化と区別する。
反ゾファンシーの手法はしばしばトレードオフに遭遇し、非支持の収量を減らすことは合理的な上昇を犠牲にする可能性がある。
- 参考スコア（独自算出の注目度）: 42.28671768284055
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models often exhibit sycophancy, revising their answers to align with users when users push back. Such answer flips, however, can arise from different causes. One possibility is that the model simply aligns with the user's feedback in order to satisfy them. Another is that the feedback genuinely contains useful evidence, prompting the model to update its answer in a rational way. We distinguish them as Unsupported-Yielding and Rational-Updating. Prior work focuses primarily on suppressing Unsupported-Yielding, while overlooking its effect on Rational-Updating. We address this gap with a two-turn evaluation framework that measures the two behaviors separately. Across representative training-time and inference-time interventions, we find that anti-sycophancy methods often encounter a trade-off in which reducing Unsupported-Yielding can sacrifice Rational-Updating, and vice versa, even when the two objectives are optimized jointly. Mechanistic analysis suggests that the two behaviors share an internal substrate: the MLP neurons and attention heads driving them overlap substantially, and their associated steering directions are positively aligned. We further conduct a preliminary orthogonalized steering exploration, which yields modest, backbone-dependent selectivity gains. Overall, our results suggest that anti-sycophancy should be treated not as a simple suppression problem, but as a selectivity problem, where effective interventions should preserve Rational-Updating while reducing Unsupported-Yielding.
- Abstract（参考訳）: 大規模な言語モデルは、しばしばサイコフィナンシーを示し、ユーザーが押し戻すと、その答えをユーザーと一致させるように修正する。
しかし、そのような答えのフリップは異なる原因から生じうる。
可能性の1つは、モデルが単にユーザからのフィードバックと整合してそれらを満たすことである。
もうひとつは、フィードバックが真に有用なエビデンスを含んでいて、モデルに合理的な方法で回答を更新するように促していることです。
我々はこれらを非支持利潤と合理化と区別する。
先行研究は、主に非支持収量抑制に焦点を合わせ、その影響を合理的昇降に見落としている。
このギャップを2つの挙動を別々に測定する2ターン評価フレームワークで解決する。
代表的なトレーニング時間と推論時間にまたがって、非支持型収量化の削減が合理的向上を犠牲にするトレードオフに遭遇することが多く、その逆も2つの目的が共同で最適化されている場合においても発生する。
MLPニューロンとアテンションヘッドは著しく重なり、関連するハンドル方向は正に整列している。
さらに直交型ステアリングの予備的な探索を行い、背骨に依存した選択性を得る。
以上の結果から,抗精神病薬の服用は単純な抑制問題ではなく選択性問題として扱うべきであり,有効介入は非支持型収量化を抑えつつ,合理的昇降を保たなければならないことが示唆された。
関連論文リスト
- CAFE: Self-Improving Search Agents Need Co-Evolving Feedback [64.5257526832476]
アウトカム管理された検索エージェントは、いつ、どのように証拠を回収するかを学習するが、端末の報酬は中間エラーのローカライズも、それらのエラーが複雑になる前に継続する軌道のリダイレクトもしない。
学習した軌道内での介入として修正的フィードバックを扱うことは、エージェントがいつフィードバックを要求し使用するかを決めなければならないのに対し、批評家は、エージェントが改善するにつれて障害パターンが変化する結果構築されたロールアウトから有用な修正を推測しなければならない。
論文 参考訳（メタデータ） (2026-08-25T16:39:00Z) - Resilience: Understand Breakdown, Foster Recovery, and Choose the Right Perspective [1.2098798769432932]
我々は2種類の力学を区別する。
1つ目は、正常化の段階と急激な破壊の段階を分離し、その後に緩やかな回復を可能にする。
2つ目は、このような段階が絡み合っている不安定な組織に適用される。
論文 参考訳（メタデータ） (2026-07-28T08:48:19Z) - Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs [68.58207076756237]
本稿では,結果評価からメカニズム診断へ移行する摂動に基づく評価プロトコルProCauEvalを紹介する。
因果推論において,ビデオコンテンツは体系的に過小評価されている。
教師のネガティブなアライメントに基づく強化学習フレームワークであるADPOを提案する。
論文 参考訳（メタデータ） (2026-05-10T08:48:58Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - CUE-R: Beyond the Final Answer in Retrieval-Augmented Generation [0.996038809132083]
CUE-Rは、単発RAGにおいて、エビデンス単位の操作性を測定するためのフレームワークである。
CUE-RはREMOVE、REPLACE、DUPLICATE演算子を介して個々の証拠項目を摂動し、3つのユーティリティ軸に沿って変化を測定する。
その結果,回答のみの評価は重要なエビデンス効果を見逃し,介入に基づくユーティリティ分析がRAG評価の実践的補完となることが示唆された。
論文 参考訳（メタデータ） (2026-04-07T06:05:08Z) - Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。
システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文 参考訳（メタデータ） (2026-01-22T07:16:26Z) - Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。
SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
論文 参考訳（メタデータ） (2025-09-20T17:09:14Z) - Unveiling and Addressing Pseudo Forgetting in Large Language Models [17.888328120571245]
従来のタスクのパフォーマンス劣化は、能力の喪失によるものではなく、適切なモデル能力の活性化のための命令の失敗によるものであることを示す。
Rationale-Guidance Difficulty based Replay (RGD-R) フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-18T14:28:04Z) - Rethinking harmless refusals when fine-tuning foundation models [0.8571111167616167]
本研究では,Large Language Models (LLMs) における微調整が,望ましくない振る舞いを隠蔽するだけでなく,効果的に緩和する程度について検討する。
ここでは、モデルが推論トレースの生成を止めるか、最終的なアウトプットの非倫理的な性質を損なうような倫理的推論トレースを生成するかのどちらかである。
論文 参考訳（メタデータ） (2024-06-27T22:08:22Z) - Making Large Language Models Better Reasoners with Alignment [57.82176656663245]
推論(Reasoning)とは、証拠を使って結論に達する認知過程である。
近年の研究では、思考の連鎖(COT)推論プロセスによるデータ上の微調整LDMは、その推論能力を著しく向上させることができることが示されている。
テキストアライメントファインチューニング(AFT)パラダイムを3ステップで導入する。
論文 参考訳（メタデータ） (2023-09-05T11:32:48Z) - Adversarial robustness via stochastic regularization of neural
activation sensitivity [24.02105949163359]
両防衛目標を同時に扱う新しい防衛機構を提案する。
損失面の勾配を平坦化し、逆例を見つけるのが難しくなる。
さらに、ジャコビアン正則化を利用して、正しく分類された入力から決定を遠ざける。
論文 参考訳（メタデータ） (2020-09-23T19:31:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。