論文の概要: Human or Synthetic? What a Fixed Budget Buys for Post-Training
- arxiv url: http://arxiv.org/abs/2611.16895v1
- Date: Thu, 12 Nov 2026 14:51:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.491163
- Title: Human or Synthetic? What a Fixed Budget Buys for Post-Training
- Title(参考訳): 人間か合成か? ポストトライニングの予算はどうなるか?
- Abstract要約: 大規模言語モデルのポストトレーニングは通常、教師付き微調整と嗜好に基づく微調整を組み合わせる。
本研究では,ポストトレーニングの効果を人間と合成選好データと比較し,コストと性能の相互作用について検討した。
- 参考スコア(独自算出の注目度): 25.004860722799236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Post-training of large language models typically combines supervised fine-tuning (SFT) with preference-based fine-tuning such as Direct Preference Optimization (DPO). Human-annotated and synthetically generated preference data differ substantially in per-sample cost, but prior work typically holds sample count fixed when comparing the two. In this work, we explicitly study the interplay between cost and performance by comparing the effect of post-training with human and synthetic preference data under a fixed, dollar-matched annotation budget. We train and evaluate multiple base model families across helpfulness and summarization tasks. We find that synthetic data is far more cost-efficient at low-to-moderate budgets, achieving high win rates with as little as \$200--\$400. On helpfulness, human data closes the gap only at budgets roughly two orders of magnitude larger; on summarization, it does not close the gap at any tested budget. We also find that human-annotated data varies in reliability: one widely used human preference source substantially underperforms another, and the gap persists even after standard remedies such as domain restriction and deduplication.
- Abstract(参考訳): 大規模言語モデルのポストトレーニングは通常、教師付き微調整(SFT)と、直接選好最適化(DPO)のような嗜好に基づく微調整を組み合わせる。
ヒトの注釈付き、合成された嗜好データは、サンプルごとのコストで大きく異なるが、以前の作業では、2つを比較する際に固定されたサンプル数を保持するのが一般的である。
本研究では, コストと性能の相互作用を, 定額のアノテーション予算の下で, ポストトレーニングの効果と人間と合成選好データとを比較検討する。
我々は、複数の基本モデルファミリーを、有用性および要約タスクで訓練し、評価する。
合成データは低モデレートの予算ではるかにコスト効率が良く、200ドル-400ドル程度の高い勝利率を達成することができる。
有用性に関して、人間のデータは、およそ2桁の予算でギャップを閉じるが、要約では、テストされた予算でギャップを閉じることはない。
また、人間による注釈付きデータは信頼性に変化があることが判明した: 広く使われている人間の嗜好源は、他を著しく過小評価し、そのギャップはドメイン制限や重複といった標準的な修正の後でも持続する。
関連論文リスト
- Maximum Likelihood Estimation for Entity Ranking under Iterative Synthetic Data Augmentation [6.091884367370882]
スパース比較グラフ上で収集したペア比較を用いて,Bradley-Terry-Luce(BTL)モデルに基づくエンティティのランク付けと推論について検討した。
そこで本研究では,適合モデルから生成した合成比較を元のデータセットに追加する反復的合成拡張ワークフローを解析する。
論文 参考訳(メタデータ) (2026-09-26T22:35:55Z) - Cost-Optimal Active AI Model Evaluation [71.2069549142394]
生成AIシステムの開発には、継続的な評価、データ取得、アノテーションが必要である。
我々は、安価だがしばしば不正確で弱いレーダの使用を積極的にバランスさせる新しいコスト認識手法を開発した。
我々は、弱者と強者の間で所定のアノテーション予算を割り当てるためのコスト最適化政策のファミリーを導出する。
論文 参考訳(メタデータ) (2025-06-09T17:14:41Z) - Balancing the Budget: Understanding Trade-offs Between Supervised and Preference-Based Finetuning [18.381178799923514]
大規模言語モデルの訓練後、しばしば監視ファインタニング(SFT)のパイプラインと、優先度ファインタニング(PFT)が伴う。
本研究では,2段階間のトレーニングデータ予算を最適に割り当てる方法について検討する。
論文 参考訳(メタデータ) (2025-02-16T21:57:35Z) - Leveraging Sparsity for Sample-Efficient Preference Learning: A Theoretical Perspective [16.610925506252716]
古典的推定理論において、最小マックス最適推定誤差率$Theta(d/n)$は、特徴空間$d$の次元と線形にスケールするサンプルの個数$n$を要求する。
特徴空間の高次元性と人間の注釈付きデータを収集するコストは、従来の推定手法の効率性に挑戦する。
報酬関数のパラメータが$k$-sparseであるスパースランダムユーティリティモデルでは、ミニマックス最適率は$Theta(k/n log(d/k))に還元できることを示す。
論文 参考訳(メタデータ) (2025-01-30T11:41:13Z) - Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback [87.37721254914476]
我々はHyPERを紹介した。HyPERは、人間または言語モデル(LM)にアノテーションを付与するハイブリッド推論ルータである。
その結果,HyPERを用いた人工選好と直接選好の混合は,RewardBenchでは7-13%しか使用せず,RM性能が向上していることがわかった。
また、HyPERの機能を分析した結果、安全上の懸念や複雑さが人間のフィードバックから最も恩恵を受けていることがわかりました。
論文 参考訳(メタデータ) (2024-10-24T20:04:15Z) - Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。
我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。
大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
論文 参考訳(メタデータ) (2024-06-21T18:06:30Z) - From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。
実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。
実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
論文 参考訳(メタデータ) (2023-08-08T19:52:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。