論文の概要: WorldPM: Scaling Human Preference Modeling
- arxiv url: http://arxiv.org/abs/2505.10527v2
- Date: Sun, 18 May 2025 17:45:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 12:45:56.171185
- Title: WorldPM: Scaling Human Preference Modeling
- Title（参考訳）: WorldPM: 人間の嗜好モデリングのスケーリング
- Abstract要約: 我々は、このスケーリングの可能性を強調するために、World Preference Modeling$ (WorldPM)を提案する。
多様なユーザコミュニティをカバーする公開フォーラムから選好データを収集する。
1.5Bから72Bパラメータの範囲で15Mスケールのデータを用いて広範囲なトレーニングを行う。
- 参考スコア（独自算出の注目度）: 130.23230492612214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Motivated by scaling laws in language modeling that demonstrate how test loss scales as a power law with model and dataset sizes, we find that similar laws exist in preference modeling. We propose World Preference Modeling$ (WorldPM) to emphasize this scaling potential, where World Preference embodies a unified representation of human preferences. In this paper, we collect preference data from public forums covering diverse user communities, and conduct extensive training using 15M-scale data across models ranging from 1.5B to 72B parameters. We observe distinct patterns across different evaluation metrics: (1) Adversarial metrics (ability to identify deceptive features) consistently scale up with increased training data and base model size; (2) Objective metrics (objective knowledge with well-defined answers) show emergent behavior in larger language models, highlighting WorldPM's scalability potential; (3) Subjective metrics (subjective preferences from a limited number of humans or AI) do not demonstrate scaling trends. Further experiments validate the effectiveness of WorldPM as a foundation for preference fine-tuning. Through evaluations on 7 benchmarks with 20 subtasks, we find that WorldPM broadly improves the generalization performance across human preference datasets of varying sizes (7K, 100K and 800K samples), with performance gains exceeding 5% on many key subtasks. Integrating WorldPM into our internal RLHF pipeline, we observe significant improvements on both in-house and public evaluation sets, with notable gains of 4% to 8% in our in-house evaluations.
- Abstract（参考訳）: 言語モデリングにおいて、テスト損失がモデルとデータセットサイズとのパワー則としてどのようにスケールするかを示す法則のスケーリングによって動機付けられ、同様の法則が嗜好モデリングに存在することが判明した。
我々は、このスケーリングの可能性を強調するために、World Preference Modeling$(WorldPM)を提案する。
本稿では,多様なユーザコミュニティをカバーするパブリックフォーラムから選好データを収集し,1.5Bから72Bのパラメータを含む15Mスケールのデータを用いて広範なトレーニングを行う。
異なる評価指標の異なるパターンを観察する。(1) 学習データの増加とベースモデルサイズの増加に一貫して対応し、(2) 客観的指標(目的的知識と明確な回答)は、WorldPMのスケーラビリティの可能性を強調して、より大きな言語モデルにおける創発的な振る舞いを示し、(3) 主観的指標(限定された人間やAIからの客観的嗜好)は、スケーリングトレンドを示さない。
さらなる実験は、好みの微調整の基礎としてのWorldPMの有効性を検証する。
20のサブタスクを持つ7つのベンチマークで評価した結果、WorldPMは、さまざまなサイズの人選好データセット(7K、100K、800Kサンプル)をまたいだ一般化性能を広範囲に改善し、多くのキーサブタスクでは5%以上のパフォーマンス向上を実現していることがわかった。
内部RLHFパイプラインにWorldPMを統合することで、社内および公的な評価セットに大きな改善が見られ、社内評価では4%から8%が顕著に向上した。
関連論文リスト
- Steerable Cultural Preference Optimization of Reward Models [24.679448091805714]
大規模言語モデル(LLM)技術は、多くの異なる文化的サブコミュニティに役立てることが不可欠である。
本稿では,よりグローバルな展望でアライメントモデルの開発を進めることを目的とする。
多様な文化的嗜好をバランスよく組み込むことができる新しい報酬モデルトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-06-17T02:10:07Z) - WorldPrediction: A Benchmark for High-level World Modeling and Long-horizon Procedural Planning [52.36434784963598]
我々は、異なるAIモデルのワールドモデリングと手続き計画能力を評価するためのビデオベースのベンチマークであるWorldPredictionを紹介する。
現在のフロンティアモデルでは,WorldPrediction-WMでは57%,WorldPrediction-PPでは38%の精度しか達成できないが,人間は両タスクを完璧に解くことができる。
論文 参考訳（メタデータ） (2025-06-04T18:22:40Z) - Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning [77.120955854093]
我々は,データ多様性が言語モデルにおける一般化の強力な予測因子であることを示す。
モデル誘起勾配のエントロピーを通して多様性を定量化する計量であるG-Vendiを導入する。
多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを提案する。
論文 参考訳（メタデータ） (2025-05-26T16:05:10Z) - DataDecide: How to Predict Best Pretraining Data with Small Experiments [67.95896457895404]
私たちはDataDecideのモデル、データ、評価を公開しています。
最大100Bトークン,最大1Bパラメータのモデルサイズ,および3つのランダムシードを用いて,25コーパスにわたる事前学習実験を行った。
論文 参考訳（メタデータ） (2025-04-15T17:02:15Z) - WorldModelBench: Judging Video Generation Models As World Models [57.776769550453594]
ビデオ生成モデルは急速に進歩し、ロボット工学や自動運転といった意思決定アプリケーションをサポートするビデオワールドモデルとしての地位を確立している。
現在のベンチマークでは、これらの主張を厳格に評価することができず、一般的なビデオ品質にのみ焦点が当てられている。
アプリケーション駆動ドメインにおけるビデオ生成モデルのワールドモデリング能力を評価するためのベンチマークであるWorldModelBenchを提案する。
論文 参考訳（メタデータ） (2025-02-28T03:58:23Z) - SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。
現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。
本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
論文 参考訳（メタデータ） (2025-01-16T18:59:46Z) - PaPaGei: Open Foundation Models for Optical Physiological Signals [8.78925327256804]
光胸腺撮影は生体信号と心臓血管の健康をモニタリングする主要な非侵襲的手法である。
PPG信号に基づいて訓練された機械学習モデルは、タスク固有であり、一般化に苦慮する傾向がある。
PPG信号のための最初のオープン基盤モデルPaPaGeiを提案する。
論文 参考訳（メタデータ） (2024-10-27T18:18:06Z) - Beyond Bradley-Terry Models: A General Preference Model for Language Model Alignment [51.14207112118503]
我々は、優先順位を効率的に捉えるために、応答を潜在空間に埋め込むアプローチである選好埋め込みを導入する。
また、人間からのフィードバックから報酬に基づく強化学習を一般化する嗜好スコアに基づく一般選好最適化(GPO)を提案する。
提案手法は,基礎モデルの微妙な人的価値との整合性を高めることができる。
論文 参考訳（メタデータ） (2024-10-03T04:22:55Z) - Scaling Laws Do Not Scale [54.72120385955072]
最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。
このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。
異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
論文 参考訳（メタデータ） (2023-07-05T15:32:21Z) - Understanding and Improving Model Averaging in Federated Learning on Heterogeneous Data [9.792805355704203]
We study the loss landscape of model averaging in Federated Learning (FL)。
我々は,グローバルモデルの損失を,クライアントモデルに関連する5つの要因に分解する。
我々は,IMAを訓練後期のグローバルモデルに利用して,期待する速度からの偏差を低減することを提案する。
論文 参考訳（メタデータ） (2023-05-13T06:19:55Z) - Prediction of SLAM ATE Using an Ensemble Learning Regression Model and
1-D Global Pooling of Data Characterization [3.4399698738841553]
原位置センサの入力特性に基づいてSLAMの局所化誤差を予測する新しい手法を提案する。
提案手法は, 原位置センサデータから生成した1次元グローバルプール特徴に基づくランダム森林回帰モデルを用いた。
また,12の異なる1次元大域プール関数が回帰品質に及ぼす影響について検討し,その1次元大域平均化の優位性について定量的に検証した。
論文 参考訳（メタデータ） (2023-03-01T16:12:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。