論文の概要: Locating Sycophancy Across Training Stages in Open Language Models

• arxiv url: http://arxiv.org/abs/2610.37788v1
• Date: Tue, 27 Oct 2026 18:08:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.89846
• Title: Locating Sycophancy Across Training Stages in Open Language Models
• Title（参考訳）: オープン言語モデルにおける訓練段階間のシクロファンシーの配置
• Abstract要約: 言語モデルアシスタントは、ユーザーが間違ったものを提案するときに正しい答えを変更することがある。 梅毒(sycophancy)と呼ばれるこの行動は、通常、嗜好に基づくポストトレーニングによるものであるが、初期の測定では事前訓練されたモデルで見つかった。 ベースモデルから教師付き微調整、好みの最適化からリリースまで、5つの系統から13のチェックポイントを開いています。
• 参考スコア（独自算出の注目度）: 3.5357372899679542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language model assistants sometimes change a correct answer when the user suggests a wrong one. The behavior, called sycophancy, is usually attributed to preference-based post-training, yet early measurements found it in pretrained models. We ask where it comes from by measuring it at every available stage of training: 13 open checkpoints from 5 lineages, from base model through supervised fine-tuning and preference optimization to release. We separate how far an injected claim moves a model's answer from how firmly the answer was held, and vary who makes the claim, how reliable they are said to be, and how strongly they make it. Two sycophancy behaviors with different origins emerge, and both replicate across datasets. Deference to a claim in the prompt is already present in every base model, which ranks sources in the same order as its post-trained descendants. Capitulation in conversation, dropping a stated answer when the user objects, is largely absent from base models and present in every post-trained checkpoint. When the objection names an alternative, most post-trained models give up firmly held answers as often as loosely held ones. We discuss the implications of these measurements for evaluating sycophancy and approaches for addressing each behavior.
• Abstract（参考訳）: 言語モデルアシスタントは、ユーザーが間違ったものを提案するときに正しい答えを変更することがある。 梅毒(sycophancy)と呼ばれるこの行動は、通常、嗜好に基づくポストトレーニングによるものであるが、初期の測定では事前訓練されたモデルで見つかった。 ベースモデルから教師付き微調整、好みの最適化からリリースまで、5つの系統から13のチェックポイントを開いています。 私たちは、インジェクトされたクレームがモデルの回答を、その回答がしっかりと保持されたか、誰がそのクレームを作ったか、どれだけ信頼されているか、どれだけ強くできているかから、どのくらいの距離を移動させるのかを区別します。 異なる起源を持つ2つの梅毒の挙動が出現し、どちらもデータセット間で複製される。 プロンプトにおけるクレームへの言及はすでにすべてのベースモデルに存在し、それはポストトレーニング後の子孫と同じ順序でソースをランク付けしている。 会話のカプセル化、ユーザオブジェクトの時の回答のドロップは、ベースモデルにはほとんど欠落しており、トレーニング後のチェックポイント毎に表示されます。 反対派が代替案を名付けると、ほとんどのポストトレーニングされたモデルは、緩やかな解答をしばしば与える。 本研究は、これらの測定が、それぞれの行動に対処するための薬効評価とアプローチに与える影響について論じる。

関連論文リスト

• The Development of Sycophancy in Language Models: Tracing Vulnerabilities from Pretraining to Post-Training [4.248847408261921]
  私たちは、30のオープンモデルラインの741のチェックポイントをフォローします。 モデルがユーザの意見に従う程度を測定するか、あるいはその判断をプレッシャーの下で放棄する。
  論文  参考訳（メタデータ） (2026-10-19T16:13:43Z)
• Anatomy of LLM Sycophancy: What a Flip Rate Hides [3.7193230342956056]
  我々は,SycoLensを用いてユーザプレッシャと評価設定のフリップ率の測定方法を検証する。 各測定は、アイテムの1つのステートレスリプレイ、コミットされた回答、および1つのスクリプト化されたユーザラインを固定形式で保持する。
  論文  参考訳（メタデータ） (2026-10-05T15:32:45Z)
• Measuring Reward Hacking and Reasoning-Answer Decoupling Under Position-Confounded Optimization [1.1316247605466565]
  正解が常にオプションAである数学問題に対してGRPOを用いて言語モデルを訓練し、不偏解位置を持つ未知のテストセットで評価する。 Qwen2.5、Llama 3.x、Gemma-3のモデルでは、より小さなモデルではオプションAレートが0.90を超えている。 有能なモデルは、Aを選択しながら正しい数値解に到達した推論を生成する。
  論文  参考訳（メタデータ） (2026-08-15T23:13:57Z)
• Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models [78.68818219506313]
  本稿では,複数解に対する分布推論を行うための多解補足学習手法について述べる。 質問応答, 診断, コーディングベンチマークを通じて, 単一回答学習ベースラインと比較して, 多様性, カバレッジ, 設定レベルの校正スコアが向上した。
  論文  参考訳（メタデータ） (2026-03-25T22:20:25Z)
• Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty [47.95943057892318]
  ブラックボックスLSMの不確実性の定量化は、信頼性の高い応答とスケーラブルな監視に不可欠である。 本研究では,不確実性推定にマルチエージェント相互作用を用いた新しい理論的基礎手法であるDiverseAgentEntropyを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T18:52:40Z)
• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• Language Models (Mostly) Know What They Know [10.836210010868932]
  言語モデルが自身の主張の有効性を評価し,どの疑問に正しく答えられるかを予測する。 モデルが「P(IK)」を予測できるかどうか,質問に対する「私が知っている」確率を,特定の回答に言及せずに検討する。
  論文  参考訳（メタデータ） (2022-07-11T22:59:39Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。