論文の概要: The Development of Sycophancy in Language Models: Tracing Vulnerabilities from Pretraining to Post-Training

• arxiv url: http://arxiv.org/abs/2610.26655v1
• Date: Mon, 19 Oct 2026 16:13:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 02:06:05.544663
• Title: The Development of Sycophancy in Language Models: Tracing Vulnerabilities from Pretraining to Post-Training
• Title（参考訳）: 言語モデルにおけるSycophancyの発達:事前訓練から訓練後までの脆弱性の追跡
• Abstract要約: 私たちは、30のオープンモデルラインの741のチェックポイントをフォローします。 モデルがユーザの意見に従う程度を測定するか、あるいはその判断をプレッシャーの下で放棄する。
• 参考スコア（独自算出の注目度）: 4.248847408261921
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models can change a committed answer to accommodate a user's opinion or pushback without new evidence. However, when this behaviour develops during training and what a released model inherits from earlier stages remain unclear. We follow 741 checkpoints of 30 open model lineages, from early pretraining to released models. We plant initial verdicts on moral scenarios and measure how far a model follows a user's stated opinion or abandons its verdict under pressure. In most lineages the behaviour is present before post-training, and its average strength changes in either direction, at different stages across lineages. A clearer pattern emerges at the level of individual questions. Beyond responses without pressure, pretraining behaviour predicts little of which questions a released model yields on. That pattern forms during post-training: on routes with supervised fine-tuning, the fine-tuning checkpoint predicts part of it and the preference-optimization checkpoint most of it. A sibling trained from the same base along another route predicts far less: for Tülu-3 8B, its own preference-stage checkpoint removes 85% of the remaining prediction error, a sibling 19%. Internal states add predictive information without changing this ranking. Similar average scores conceal different vulnerabilities, and training history matters for auditing a released model.
• Abstract（参考訳）: 言語モデルは、ユーザの意見に合うようにコミットされた回答を変更したり、新たな証拠なしに押し戻すことができる。 しかしながら、この動作がトレーニング中に発展し、リリースされたモデルが初期段階から受け継がれるかは、まだ不明である。 アーリープレトレーニングからリリースモデルまで、30のオープンモデルラインの741のチェックポイントをフォローします。 モラルシナリオに関する最初の評定を配置し、モデルがユーザの主張する意見に従う程度を測定するか、あるいはその評定をプレッシャーの下で放棄する。 ほとんどの系統では、その行動はポストトレーニングの前に存在し、その平均的な強度は、系統間で異なる段階において、どちらの方向でも変化する。 より明確なパターンが個々の質問のレベルで現れる。 プレトレーニングの振る舞いは、圧力のない応答以外にも、リリースされたモデルが与える質問のほとんどを予測する。 教師付き微調整のルートでは、微調整のチェックポイントがその一部と、そのほとんどを優先最適化のチェックポイントが予測する。 Tülu-3 8Bの場合、Tülu-3 8Bは残りの予測誤差の85%を除去し、19%は兄弟である。 内部状態は、このランキングを変更することなく予測情報を付加する。 同様の平均スコアは、異なる脆弱性を隠蔽し、リリースしたモデルを監査する上で、トレーニング履歴が重要になる。

関連論文リスト

• Better Behavioral Prediction, More Faithful Model Ablations? Evidence from Sequential Choice [0.2538209532048867]
  認知を説明するために予測モデルを使用するには、正確な行動予測以上のものが必要である。 入力アブレーションは、モデルから情報を取り除き、結果のパフォーマンス変化を行動の重要性の証拠として解釈する、魅力的なルートを提供する。 我々は、既知の生成ポリシーを持つ2つの合成逐次バンディットタスクでテストする。
  論文  参考訳（メタデータ） (2026-09-28T18:38:49Z)
• Alignment Forecasting: Predicting Misalignment From Training Data [14.691765737362195]
  トレーニング前にアライメント障害を予測するタスクであるアライメント予測を導入する。 ALIGNMENTFORECASTBENCHは、17のターゲットモデル、32のデータセット、16の障害モードにまたがる5000以上の予測された質問のベンチマークです。 以上の結果から,SFT環境では,トレーニング前に多数のアライメント障害を予測できる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-09-19T07:23:51Z)
• Impression Share Prediction: An Offline Evaluation Task for Ranking Systems [2.455009405787869]
  本稿では,オフライン評価タスクとして,共感共有予測を提案する。 候補者はライブトラフィックを提供していないので、このタスクは本質的に非現実的です。 本研究では,素早い相互作用の信頼信号から印象共有を予測する統計的学習フレームワークを開発する。
  論文  参考訳（メタデータ） (2026-08-17T17:52:55Z)
• RLP: Reinforcement as a Pretraining Objective [103.45068938532923]
  我々は,情報駆動型強化事前訓練の目的として,強化学習のコアスピリットである探索を,事前訓練の最終段階に導くことを提案する。 このトレーニングの目的は、モデルが次に何が起こるかを予測する前に、自分自身で考えることを奨励し、事前学習の早い段階で独立した思考行動を教えることである。 特に、RLPは、通常のテキストにおける事前学習対象としての推論のための強化学習を再構築し、次のトーケン予測と有用な連鎖推論の出現の間のギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-26T17:53:54Z)
• Learning Through Retrospection: Improving Trajectory Prediction for Automated Driving with Error Feedback [41.94295877935867]
  自動走行では、周囲の車両の軌道予測がシーンダイナミクスの推論をサポートし、エゴ車両の安全な計画を可能にする。 既存のモデルは、観測された情報に基づいて将来の軌跡を予測するための瞬間的なタスクとして予測を扱う。 提案手法は,推論中の誤差を補正し,再現する手法である。
  論文  参考訳（メタデータ） (2025-04-18T16:35:12Z)
• Overtrained Language Models Are Harder to Fine-Tune [64.44743256512237]
  大規模言語モデルは、成長を続けるトークン予算に基づいて事前訓練されている。 事前トレーニングの拡張により、モデルを微調整しにくくなり、最終的なパフォーマンスが低下することを示した。
  論文  参考訳（メタデータ） (2025-03-24T23:11:56Z)
• Selective Prediction via Training Dynamics [31.708701583736644]
  本研究では,モデルのトレーニング力学を学習することで,最先端の選択的予測性能が得られることを示す。 特に、トレーニングの後半段階で最終予測と大差ないデータポイントを拒否する。 提案された拒絶機構はドメインに依存しない(すなわち、離散予測と実数値予測の両方に有効)、既存の選択的予測手法と柔軟に組み合わせることができる。
  論文  参考訳（メタデータ） (2022-05-26T17:51:29Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Calibrate Before Use: Improving Few-Shot Performance of Language Models [68.17016463756474]
  GPT-3は、いくつかのトレーニング例を含む自然言語プロンプトを提供すると、多数のタスクを実行できます。 この種の少数ショット学習は不安定である。 プロンプト形式、トレーニング例、およびトレーニング例の順序の選択は、精度をほぼチャンスから最先端のものに変化させる可能性があります。
  論文  参考訳（メタデータ） (2021-02-19T00:23:59Z)
• Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
  ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。 その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。 これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2020-10-06T05:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。