論文の概要: Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback

• arxiv url: http://arxiv.org/abs/2410.03145v1
• Date: Fri, 4 Oct 2024 04:56:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 03:24:16.277550
• Title: Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback
• Title（参考訳）: Margin Matching Preference Optimization: グラニュラーフィードバックによるモデルアライメントの強化
• Authors: Kyuyoung Kim, Ah Jeong Seo, Hao Liu, Jinwoo Shin, Kimin Lee,
• Abstract要約: 人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。 マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。 人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
• 参考スコア（独自算出の注目度）: 64.67540769692074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) fine-tuned with alignment techniques, such as reinforcement learning from human feedback, have been instrumental in developing some of the most capable AI systems to date. Despite their success, existing methods typically rely on simple binary labels, such as those indicating preferred outputs in pairwise preferences, which fail to capture the subtle differences in relative quality between pairs. To address this limitation, we introduce an approach called Margin Matching Preference Optimization (MMPO), which incorporates relative quality margins into optimization, leading to improved LLM policies and reward models. Specifically, given quality margins in pairwise preferences, we design soft target probabilities based on the Bradley-Terry model, which are then used to train models with the standard cross-entropy objective. Experiments with both human and AI feedback data demonstrate that MMPO consistently outperforms baseline methods, often by a substantial margin, on popular benchmarks including MT-bench and RewardBench. Notably, the 7B model trained with MMPO achieves state-of-the-art performance on RewardBench as of June 2024, outperforming other models of the same scale. Our analysis also shows that MMPO is more robust to overfitting, leading to better-calibrated models.
• Abstract（参考訳）: 人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。 その成功にもかかわらず、既存の手法は、ペア間の相対的な品質の微妙な違いを捉えるのに失敗する、ペアの選好で好まれる出力を示すような単純なバイナリラベルに依存するのが一般的である。 この制限に対処するために、相対的な品質マージンを最適化に組み込んだMMPO(Margin Matching Preference Optimization)というアプローチを導入し、LCMポリシーと報酬モデルの改善につながった。 具体的には、ペアの選好における品質マージンを考慮し、Bradley-Terryモデルに基づくソフトターゲット確率を設計し、標準のクロスエントロピー目標を持つモデルを訓練する。 人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。 特に、MMPOでトレーニングされた7Bモデルは、2024年6月現在、RewardBenchで最先端のパフォーマンスを達成しており、同じスケールの他のモデルよりも優れています。 我々の分析は、MMPOが過剰適合に対してより堅牢であることを示し、より良い校正モデルをもたらすことも示している。

関連論文リスト

• Offline Model-Based Optimization by Learning to Rank [26.21886715050762]
  我々は、平均二乗誤差(MSE)で訓練された回帰モデルは、オフラインモデルに基づく最適化の第一目標とうまく一致していないと論じる。 そこで本稿では,学習手法のランク付けに活用し,相対的なスコアに基づいて有望な設計を優先順位付けするランキングベースモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:15:03Z)
• General Preference Modeling with Preference Representations for Aligning Language Models [51.14207112118503]
  我々は、複雑な嗜好構造を効率的に捉えるために、応答を潜在空間に埋め込んだ選好表現学習を導入する。 また、人間からのフィードバックから報酬に基づく強化学習を一般化する嗜好スコアに基づく一般選好最適化(GPO)を提案する。 提案手法は,基礎モデルの微妙な人的価値との整合性を高めることができる。
  論文  参考訳（メタデータ） (2024-10-03T04:22:55Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• TSO: Self-Training with Scaled Preference Optimization [14.3799656174528]
  我々は、追加の報酬モデルを訓練することなく、自己学習による選好学習を行う、選好最適化のためのフレームワークTSOを提案する。 TSOは、モデル行列を構築し、人間の嗜好応答を取り入れることで、応答の多様性を高める。 実験の結果、TSOは様々なアライメント評価ベンチマークにおいて、既存の主流手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-31T05:37:01Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Prior Constraints-based Reward Model Training for Aligning Large Language Models [58.33118716810208]
  本稿では,この問題を解決するために,事前制約に基づくリワードモデル(PCRM)のトレーニング手法を提案する。 PCRMは、前回の制約、特に各比較ペアの出力間の長さ比とコサイン類似性を、最適化の規模を調節しスコアマージンを制御するための報酬モデルトレーニングに組み入れている。 実験結果から,PCRMは報酬スコアのスケーリングを効果的に抑制することによりアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-01T07:49:11Z)
• Is One Epoch All You Need For Multi-Fidelity Hyperparameter Optimization? [17.21160278797221]
  MF-HPO(Multi-fidelity HPO)は、学習過程における中間精度レベルを活用し、早期に低性能モデルを捨てる。 様々な代表的MF-HPO法を,古典的ベンチマークデータに基づく単純なベースラインと比較した。 このベースラインは、計算量を大幅に減らしながら、同等の結果を得た。
  論文  参考訳（メタデータ） (2023-07-28T09:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。