論文の概要: WorldPM: Scaling Human Preference Modeling

• arxiv url: http://arxiv.org/abs/2505.10527v1
• Date: Thu, 15 May 2025 17:38:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.441975
• Title: WorldPM: Scaling Human Preference Modeling
• Title（参考訳）: WorldPM: 人間の嗜好モデリングのスケーリング
• Authors: Binghai Wang, Runji Lin, Keming Lu, Le Yu, Zhenru Zhang, Fei Huang, Chujie Zheng, Kai Dang, Yang Fan, Xingzhang Ren, An Yang, Binyuan Hui, Dayiheng Liu, Tao Gui, Qi Zhang, Xuanjing Huang, Yu-Gang Jiang, Bowen Yu, Jingren Zhou, Junyang Lin,
• Abstract要約: 我々は、このスケーリングの可能性を強調するために、World Preference Modeling$ (WorldPM)を提案する。 多様なユーザコミュニティをカバーする公開フォーラムから選好データを収集する。 1.5Bから72Bパラメータの範囲で15Mスケールのデータを用いて広範囲なトレーニングを行う。
• 参考スコア（独自算出の注目度）: 130.23230492612214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivated by scaling laws in language modeling that demonstrate how test loss scales as a power law with model and dataset sizes, we find that similar laws exist in preference modeling. We propose World Preference Modeling$ (WorldPM) to emphasize this scaling potential, where World Preference embodies a unified representation of human preferences. In this paper, we collect preference data from public forums covering diverse user communities, and conduct extensive training using 15M-scale data across models ranging from 1.5B to 72B parameters. We observe distinct patterns across different evaluation metrics: (1) Adversarial metrics (ability to identify deceptive features) consistently scale up with increased training data and base model size; (2) Objective metrics (objective knowledge with well-defined answers) show emergent behavior in larger language models, highlighting WorldPM's scalability potential; (3) Subjective metrics (subjective preferences from a limited number of humans or AI) do not demonstrate scaling trends. Further experiments validate the effectiveness of WorldPM as a foundation for preference fine-tuning. Through evaluations on 7 benchmarks with 20 subtasks, we find that WorldPM broadly improves the generalization performance across human preference datasets of varying sizes (7K, 100K and 800K samples), with performance gains exceeding 5% on many key subtasks. Integrating WorldPM into our internal RLHF pipeline, we observe significant improvements on both in-house and public evaluation sets, with notable gains of 4% to 8% in our in-house evaluations.
• Abstract（参考訳）: 言語モデリングにおいて、テスト損失がモデルとデータセットサイズとのパワー則としてどのようにスケールするかを示す法則のスケーリングによって動機付けられ、同様の法則が嗜好モデリングに存在することが判明した。 我々は、このスケーリングの可能性を強調するために、World Preference Modeling$(WorldPM)を提案する。 本稿では,多様なユーザコミュニティをカバーするパブリックフォーラムから選好データを収集し,1.5Bから72Bのパラメータを含む15Mスケールのデータを用いて広範なトレーニングを行う。 異なる評価指標の異なるパターンを観察する。(1) 学習データの増加とベースモデルサイズの増加に一貫して対応し、(2) 客観的指標(目的的知識と明確な回答)は、WorldPMのスケーラビリティの可能性を強調して、より大きな言語モデルにおける創発的な振る舞いを示し、(3) 主観的指標(限定された人間やAIからの客観的嗜好)は、スケーリングトレンドを示さない。 さらなる実験は、好みの微調整の基礎としてのWorldPMの有効性を検証する。 20のサブタスクを持つ7つのベンチマークで評価した結果、WorldPMは、さまざまなサイズの人選好データセット(7K、100K、800Kサンプル)をまたいだ一般化性能を広範囲に改善し、多くのキーサブタスクでは5%以上のパフォーマンス向上を実現していることがわかった。 内部RLHFパイプラインにWorldPMを統合することで、社内および公的な評価セットに大きな改善が見られ、社内評価では4%から8%が顕著に向上した。

関連論文リスト

• DataDecide: How to Predict Best Pretraining Data with Small Experiments [67.95896457895404]
  私たちはDataDecideのモデル、データ、評価を公開しています。 最大100Bトークン,最大1Bパラメータのモデルサイズ,および3つのランダムシードを用いて,25コーパスにわたる事前学習実験を行った。
  論文  参考訳（メタデータ） (2025-04-15T17:02:15Z)
• WorldModelBench: Judging Video Generation Models As World Models [57.776769550453594]
  ビデオ生成モデルは急速に進歩し、ロボット工学や自動運転といった意思決定アプリケーションをサポートするビデオワールドモデルとしての地位を確立している。 現在のベンチマークでは、これらの主張を厳格に評価することができず、一般的なビデオ品質にのみ焦点が当てられている。 アプリケーション駆動ドメインにおけるビデオ生成モデルのワールドモデリング能力を評価するためのベンチマークであるWorldModelBenchを提案する。
  論文  参考訳（メタデータ） (2025-02-28T03:58:23Z)
• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• Beyond Bradley-Terry Models: A General Preference Model for Language Model Alignment [51.14207112118503]
  我々は、優先順位を効率的に捉えるために、応答を潜在空間に埋め込むアプローチである選好埋め込みを導入する。 また、人間からのフィードバックから報酬に基づく強化学習を一般化する嗜好スコアに基づく一般選好最適化(GPO)を提案する。 提案手法は,基礎モデルの微妙な人的価値との整合性を高めることができる。
  論文  参考訳（メタデータ） (2024-10-03T04:22:55Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• Understanding and Improving Model Averaging in Federated Learning on Heterogeneous Data [9.792805355704203]
  We study the loss landscape of model averaging in Federated Learning (FL)。 我々は,グローバルモデルの損失を,クライアントモデルに関連する5つの要因に分解する。 我々は,IMAを訓練後期のグローバルモデルに利用して,期待する速度からの偏差を低減することを提案する。
  論文  参考訳（メタデータ） (2023-05-13T06:19:55Z)
• Prediction of SLAM ATE Using an Ensemble Learning Regression Model and 1-D Global Pooling of Data Characterization [3.4399698738841553]
  原位置センサの入力特性に基づいてSLAMの局所化誤差を予測する新しい手法を提案する。 提案手法は, 原位置センサデータから生成した1次元グローバルプール特徴に基づくランダム森林回帰モデルを用いた。 また,12の異なる1次元大域プール関数が回帰品質に及ぼす影響について検討し,その1次元大域平均化の優位性について定量的に検証した。
  論文  参考訳（メタデータ） (2023-03-01T16:12:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。