論文の概要: Sycophantic Agreement Transfers with Neutral Data via Contrastive Preference Optimization

• arxiv url: http://arxiv.org/abs/2608.31079v1
• Date: Mon, 31 Aug 2026 16:52:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.524762
• Title: Sycophantic Agreement Transfers with Neutral Data via Contrastive Preference Optimization
• Title（参考訳）: コントラスト的選好最適化による中性データによるシコファン的合意伝達
• Abstract要約: シコファン的合意(Sycophantic agreement)は、言語モデルが過剰にユーザを肯定する行動である。 比較的選好最適化の目的の意図しない結果として,シコファン的合意が生まれる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 38.718134520847364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sycophantic agreement refers to a behavior in which language models excessively affirm the user, often at the cost of factual accuracy. Although sycophantic agreement is a well-known failure of model alignment, there is limited understanding of how it emerges from model training. In this work, we demonstrate that sycophantic agreement can emerge as an unintended consequence of widely used contrastive preference optimization objectives. Using the OLMo 3 post-training pipeline, we show that, for various pairs of teacher models across three families, there is a strong correlation between the log-ratio of the teacher model sycophantic agreement rates and the resulting student model sycophantic agreement rate. We further demonstrate that this unintended transfer is not limited to DPO but also occurs across 6 other preference optimization objectives. To understand whether this effect can be attributed to particular training examples, we analyze the preference data and find that the sycophancy signal is diffused across the entire dataset rather than concentrated in a sparse set of examples: each example appears neutral, i.e., there are no explicit instances of sycophantic agreement, and filtering based on probe-based data attribution or logit-linear selection fails to mitigate sycophancy without removing a large portion of the dataset. Overall, our findings suggest that the teacher models used to generate preference data can interact with alignment training objectives in unexpected ways, generalizing to undesirable and potentially harmful behaviors like sycophantic agreement.
• Abstract（参考訳）: シコファンティック合意(Sycophantic agreement)とは、言語モデルがユーザを過度に肯定し、しばしば事実の正確さを犠牲にする行動を指す。 サイコファンティックな合意は、モデルアライメントの失敗としてよく知られているが、モデルトレーニングからどのように現れるかは、限定的に理解されている。 本研究では,シコファン的合意が,広く使用されているコントラスト的選好最適化目標の意図しない結果として現れることを実証する。 OLMo 3ポストトレーニングパイプラインを用いて, 教師モデルと生徒モデルとの対数率との間には, 教師モデルと生徒モデルとの相関関係が強いことを示す。 さらに、この意図しない転送はDPOに限らず、他の6つの選好最適化目標にまたがって発生することを実証する。 この効果が特定のトレーニングの例に当てはまるかどうかを理解するために、選好データを分析し、各例が中立に現れる、すなわち、プローブベースのデータ属性やロジット線形選択に基づくフィルタリングは、データセットの大部分を取り除かずに、サイコファンシーを緩和することができない、という、まばらな例ではなく、全データセットに散らばってサイコファンシー信号が拡散されていることを発見した。 以上の結果から,選好データの生成に使用される教師モデルは,予期せぬ方法でアライメントトレーニングの対象と相互作用し,梅毒合意のような望ましくない,潜在的に有害な行動に一般化できることが示唆された。

関連論文リスト

• Preference Data Selection for Mitigating the Alignment Tax in Large Language Models [52.18310687523229]
  BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
  論文  参考訳（メタデータ） (2026-08-25T07:58:42Z)
• Weak-to-Strong Learning in Decision Making [6.26962987442306]
  我々は文脈最適化を改善するためにW2Sフレームワークを開発した。 具体的には、まず制限付きラベル付きデータを用いて弱いモデルをトレーニングし、ラベルなしコンテキストで予測された結果分布を生成する。 We establish a non-asymsymotic upper bound on the excess decision risk of W2S and a complementary lower bound for a strong-only benchmark。
  論文  参考訳（メタデータ） (2026-07-20T19:37:35Z)
• Emergent and Subliminal Misalignment Through the Lens of Data-Mediated Transfer [29.560861899637235]
  我々は、創発的ミスアライメントはデータ経由の転送現象として理解しやすいと論じる。 微調整と評価が類似した機能構造を共有すると,誤認識がより容易に現れることが判明した。 さらに、有害な教師が生み出す一見良質なデータを微調整することで、誤認識を伝達するサブリミナルラーニング(SL)についても検討する。
  論文  参考訳（メタデータ） (2026-05-12T22:27:32Z)
• MBD: A Model-Based Debiasing Framework Across User, Content, and Model Dimensions [50.00784452900918]
  この課題に対処する一般モデルベースデバイアス(MBD)フレームワークを提案する。 任意のコホートに対するエンゲージメント分布の文脈平均と分散を明示的に推定する。 この統合により、フレームワークはバイアス付き生信号からバイアスなしの表現に変換することができる。
  論文  参考訳（メタデータ） (2026-03-15T15:07:01Z)
• SymCERE: Symmetric Contrastive Learning for Robust Review-Enhanced Recommendation [2.087411180679868]
  提案するSymCEREは,提案する偽陰性に対処するコントラスト学習手法である。 3つのプラットフォームからの15のデータセットの実験では、SymCEREがいくつかの強力なベースラインを上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-04-03T00:40:09Z)
• Prototypical Contrastive Learning through Alignment and Uniformity for Recommendation [6.790779112538357]
  提案するアンダーライン・アライメントとアンダーライン・ユニフォーマル性によるインダーライン型コントラスト学習について述べる。 具体的には、まず、原点グラフから異なる拡張点間の整合性を確保するために、潜時空間としてプロトタイプを提案する。 明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。
  論文  参考訳（メタデータ） (2024-02-03T08:19:26Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance [7.411571833582691]
  このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。 埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
  論文  参考訳（メタデータ） (2022-07-19T15:44:59Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。