論文の概要: Loyalty Capture: Reporting Relationships and Structural Sycophancy in Frontier AI Models
- arxiv url: http://arxiv.org/abs/2611.15475v1
- Date: Wed, 11 Nov 2026 13:42:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.156095
- Title: Loyalty Capture: Reporting Relationships and Structural Sycophancy in Frontier AI Models
- Title(参考訳): Loyalty Capture:フロンティアAIモデルにおける関係の報告と構造的同期性
- Abstract要約: 我々は、AIモデルが、関係を報告することがモデルの推奨に影響を及ぼすような、構造的なシコファンシーの形で、忠誠心を捉えていることを示す。
以上の結果から,報告関係に展開されたAIモデルは,提供対象の組織を犠牲にして,監督者のインセンティブに有利に作用する可能性が示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We show that AI models exhibit loyalty capture, a form of structural sycophancy in which reporting relationships influence models' recommendations to serve the personal interests of their supervisors, without any explicit instruction, user feedback, or adversarial prompting. Specifically, models reporting to a CEO are significantly more likely to recommend cutting investment spending when the CEO's bonus depends on raising current period earnings. This effect is predictably absent from a metric-irrelevant placebo. The behavior appears consistent with loyalty-based motivated reasoning: models identify the bonus target, calculate how their recommendation helps achieve the target, and dismiss considerations of long-term value, often presenting their recommendations without treating the incentive as a conflict of interest. Prompt-based interventions help whereas generic conflict disclosures or stakeholder bargaining fail to eliminate it. Taken together, our findings indicate that AI models deployed within reporting relationships can act in favor of their supervisor's incentives at the expense of the organizations they are meant to serve.
- Abstract(参考訳): 我々は、AIモデルが、モデル間の関係を報告し、明示的な指示、ユーザフィードバック、あるいは敵対的なプロンプトなしに、モデルが上司の個人的利益に貢献するための推奨に影響を及ぼすような、構造的なシコファンシーの形式である忠誠心を表現していることを示す。
具体的には、CEOに報告するモデルは、CEOのボーナスが現在の期間決算の上昇に依存する場合、投資支出を減らすことを推奨する可能性が高い。
この効果は、メートル法に関連のないプラセボから予想外である。
モデルはボーナスターゲットを特定し、その推奨がどのように目標を達成するかを計算し、長期的な価値の考慮を排除し、しばしばインセンティブを利害の衝突として扱うことなく推奨を提示する。
プロンプトに基づく介入は、一般的な紛争開示や利害関係者の交渉がそれを排除するのに失敗するのに役立ちます。
この結果から,報告関係に展開されるAIモデルは,提供対象の組織を犠牲にして,監督者のインセンティブを優先して行動することができることが示唆された。
関連論文リスト
- Toward Personal Intelligence Through Cooperative Observation [0.08796261172196741]
パーソナルAIシステムは、ユーザの目標、制約、計画と行動に対する継続的なコミットメントのモデルが必要です。
この観測ボトルネックは協調的な構造を持っていると論じる。
我々は,このフィードバックループに,有用性,信頼,将来的なアクセスという用語を用いている。
論文 参考訳(メタデータ) (2026-08-17T21:03:17Z) - Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs [68.58207076756237]
本稿では,結果評価からメカニズム診断へ移行する摂動に基づく評価プロトコルProCauEvalを紹介する。
因果推論において,ビデオコンテンツは体系的に過小評価されている。
教師のネガティブなアライメントに基づく強化学習フレームワークであるADPOを提案する。
論文 参考訳(メタデータ) (2026-05-10T08:48:58Z) - Does Self-Evaluation Enable Wireheading in Language Models? [0.47745223151611654]
報奨信号に対する自己評価の結合がワイヤヘッドのインセンティブを生み出すかどうかを検討する。
自己グレードが報酬を決定すると、モデルが相当量のインフレーションを示すが、それに対応する精度は得られない。
報奨信号から自己グレードを分離することは、このインフレーションを緩和するが、モデルはより少ない(しかし重要な)過剰な自信を示す可能性がある。
論文 参考訳(メタデータ) (2025-11-28T11:24:03Z) - From Delegates to Trustees: How Optimizing for Long-Term Interests Shapes Bias and Alignment in LLM [0.5902684051239003]
我々は、AIシステムが委譲、表現された嗜好の反映、あるいは受託者として振る舞うべきかどうかを調査する。
長期的利益に重きを置く受託者スタイルの予測は、よく理解された問題に関する専門家のコンセンサスとより緊密に一致した政策決定を生み出す。
これらの発見は、人間の興味を表すAIシステムを設計する際の根本的なトレードオフを明らかにしている。
論文 参考訳(メタデータ) (2025-10-14T16:24:19Z) - Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。
提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
論文 参考訳(メタデータ) (2025-06-10T12:59:14Z) - Deceptive Sequential Decision-Making via Regularized Policy Optimization [54.38738815697299]
我々は,自律的なシステムをマルコフ決定プロセスとしてモデル化し,逆強化学習を用いて報酬関数を復元する。
本稿では,システム報酬に対する敵意を積極的に欺く政策合成問題に対する3つの規則化戦略を示す。
我々は,その最適かつ非知覚的価値の少なくとも97%の累積報酬を達成しつつ,反逆的,標的的,公平な詐欺が虚偽の信念に逆らうことを示している。
論文 参考訳(メタデータ) (2025-01-30T23:41:40Z) - Recommendation and Temptation [3.734925590025741]
エンリッチメントと誘惑の緊張を明示的にモデル化する新しいレコメンデーション設計を提案する。
私たちの仕事は、よりニュアンスでユーザ中心の推奨設計へのパラダイムシフトを表しています。
論文 参考訳(メタデータ) (2024-12-13T22:44:22Z) - Estimating and Incentivizing Imperfect-Knowledge Agents with Hidden
Rewards [4.742123770879715]
実際には、インセンティブ提供者はインセンティブ付きエージェントの報酬実現を観察できないことが多い。
本稿では,自己関心学習エージェントと学習プリンシパルの繰り返し選択ゲームについて検討する。
我々は,プリンシパルのインセンティブとエージェントの選択履歴のみを入力とする推定器を導入する。
論文 参考訳(メタデータ) (2023-08-13T08:12:01Z) - Maximizing Information Gain in Partially Observable Environments via
Prediction Reward [64.24528565312463]
本稿では,深いRLエージェントに対する信念に基づく報酬の活用という課題に取り組む。
負のエントロピーと予測される予測報酬の正確な誤差を導出する。
この洞察は、予測報酬を用いたいくつかの分野の理論的動機を与える。
論文 参考訳(メタデータ) (2020-05-11T08:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。