論文の概要: How Does Post-Training Shape LLM Value Preferences?

• arxiv url: http://arxiv.org/abs/2610.33371v1
• Date: Fri, 23 Oct 2026 23:52:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.313963
• Title: How Does Post-Training Shape LLM Value Preferences?
• Title（参考訳）: 後型LCM値の予測はどのように行うか?
• Abstract要約: ポストトレーニングは、ポストトレーニングパス間で意見の不均衡を異なる方法で増幅する。 より具体的には、介入下のモデルの安定性は、さらなる訓練後の値の好みが変わるかどうかに依存する。 これらの結果から, 学習後コーパスにおける意見の混合と, 学習後方法の選択が考慮されるべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 44.04126092700151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: During post-training, large language models (LLMs) learn value preferences from corpora that may contain imbalanced proportions of opinions associated with different demographic groups. Amplifying these imbalances may further underrepresent some groups' opinions. However, how opinion mixtures shape value preferences across post-training paths remains unclear. To answer this question, we conduct controlled experiments using post-training corpora with different opinion mixtures and five post-training paths based on SFT, DPO, and GRPO. We find that post-training amplifies opinion imbalances differently across post-training paths. Once value preferences are amplified, whether further post-training can remove them depends on both the post-training method and the opinion mixture in the corpus. More concerningly, a model's stability under interventions depends on whether further post-training changes its value preference. Moreover, these value preferences are transferred to student models even when distillation uses corpora with no explicit opinion questions. These findings suggest that both the opinion mixture in post-training corpora and the choice of post-training method should be considered when developing, evaluating, and reusing LLMs. Our code and data are available at https://github.com/ku-nlp/llm-value-preferences.
• Abstract（参考訳）: ポストトレーニング中、大きな言語モデル(LLM)は、異なる人口集団に関連する意見の不均衡な割合を含むかもしれないコーパスから価値の選好を学習する。 これらの不均衡を増幅することは、一部のグループの意見をさらに過小評価する可能性がある。 しかし、どのような意見が、学習後パスの形状価値の嗜好を混在させるかは、まだ不明である。 そこで我々は,SFT,DPO,GRPOに基づいて,異なる意見混合と5つのポストトレーニングパスを持つポストトレーニングコーパスを用いた制御実験を行った。 ポストトレーニングは、ポストトレーニングパス間で意見の不均衡を異なる方法で増幅する。 一度値の嗜好が増幅されると、さらなるポストトレーニングが削除できるかどうかは、ポストトレーニング方法とコーパスの意見混合の両方に依存する。 より具体的には、介入下のモデルの安定性は、さらなる訓練後の値の好みが変わるかどうかに依存する。 さらに、これらの値の嗜好は、明示的な意見質問のないコーパスを用いた蒸留においても、学生モデルに伝達される。 これらの結果から,LLMの開発,評価,再利用において,学習後コーパスの意見混合と学習後方法の選択が考慮されるべきであることが示唆された。 私たちのコードとデータはhttps://github.com/ku-nlp/llm-value-preferencesで公開されています。

関連論文リスト

• From Rollouts to Recipes: Self-Contained Post-Training for LLMs [11.440101032760042]
  セルフルーティング(Self-Routing)は、ロールアウトの正確性と信頼性を使用して、各サンプルの最適化方法を決定する、行動条件付きポストトレーニングフレームワークである。 本稿では, 均一なGRPO, 均一なOPSD, 固定混合, より単純なルーティングベースラインに対して, 自己追従は一貫して改善されることを示す。
  論文  参考訳（メタデータ） (2026-09-01T15:36:26Z)
• WARP: Weight-Space Analysis for Recovering Training Data Portfolios [18.110321766137535]
  WARPは、細調整されたモデルのトレーニングミックスを、リリースしたウェイトから直接回収するフレームワークである。 WARPはモデルマージを使用してベースモデルと微調整モデルの補間を行い、不足したトレーニング軌跡を近似する擬似チェックポイントを生成する。 BERT と GPT-2 を用いた実験では、WARP は平均MAE のドメイン混合物を 0.046 と 0.104 でそれぞれ回復し、メンバシップ推論と真のトレーニング軌道にアクセス可能な変種より優れている。
  論文  参考訳（メタデータ） (2026-07-02T04:27:45Z)
• EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
  学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。 本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
  論文  参考訳（メタデータ） (2026-04-21T14:07:39Z)
• Off-Policy Corrected Reward Modeling for Reinforcement Learning from Human Feedback [52.1410307583181]
  我々は、ヒューマンフィードバックからの強化学習を用いて、複雑な人間の嗜好に従うために言語モデル(LM)を訓練する。 トレーニングが進むにつれて、LMが生成する応答は、報酬モデル(RM)の応答にもはや似ていない。 新しいラベルやサンプルを必要とせず、重み付けによりRMを補正するオフポリティ補正リワードモデリングを提案する。
  論文  参考訳（メタデータ） (2025-07-21T11:19:04Z)
• How Post-Training Reshapes LLMs: A Mechanistic View on Knowledge, Truthfulness, Refusal, and Confidence [52.9442657690445]
  大規模言語モデル(LLM)の成功にはポストトレーニングが不可欠である 学習後効果をよりよく理解するために,4つの視点からベースとポストトレーニング後のLLMを比較した。
  論文  参考訳（メタデータ） (2025-04-03T06:30:55Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)
• Pretraining Language Models with Human Preferences [21.724817280998696]
  言語モデル(LM)はインターネットテキストを模倣するために事前訓練されている。 そこで本研究では,人間の嗜好に沿ったテキストを生成する方法として,LMの事前学習のための代替目的について検討する。
  論文  参考訳（メタデータ） (2023-02-16T21:03:33Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。