論文の概要: Preference Optimization with Multi-Sample Comparisons

• arxiv url: http://arxiv.org/abs/2410.12138v1
• Date: Wed, 16 Oct 2024 00:59:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:44:08.385084
• Title: Preference Optimization with Multi-Sample Comparisons
• Title（参考訳）: マルチサンプル比較による選好最適化
• Authors: Chaoqi Wang, Zhuokai Zhao, Chen Zhu, Karthik Abinav Sankararaman, Michal Valko, Xuefei Cao, Zhaorun Chen, Madian Khabsa, Yuxin Chen, Hao Ma, Sinong Wang,
• Abstract要約: 本稿では,マルチサンプル比較を含むポストトレーニングの拡張手法を提案する。 これらのアプローチは、生成的多様性やバイアスといった重要な特徴を捉えられない。 マルチサンプル比較はシングルサンプル比較よりも集団特性の最適化に有効であることを示す。
• 参考スコア（独自算出の注目度）: 53.02717574375549
• License:
• Abstract: Recent advancements in generative models, particularly large language models (LLMs) and diffusion models, have been driven by extensive pretraining on large datasets followed by post-training. However, current post-training methods such as reinforcement learning from human feedback (RLHF) and direct alignment from preference methods (DAP) primarily utilize single-sample comparisons. These approaches often fail to capture critical characteristics such as generative diversity and bias, which are more accurately assessed through multiple samples. To address these limitations, we introduce a novel approach that extends post-training to include multi-sample comparisons. To achieve this, we propose Multi-sample Direct Preference Optimization (mDPO) and Multi-sample Identity Preference Optimization (mIPO). These methods improve traditional DAP methods by focusing on group-wise characteristics. Empirically, we demonstrate that multi-sample comparison is more effective in optimizing collective characteristics~(e.g., diversity and bias) for generative models than single-sample comparison. Additionally, our findings suggest that multi-sample comparisons provide a more robust optimization framework, particularly for dataset with label noise.
• Abstract（参考訳）: 生成モデル,特に大規模言語モデル (LLM) と拡散モデルの最近の進歩は,大規模データセットの事前学習と後学習によって促進されている。 しかしながら、人間フィードバックからの強化学習(RLHF)や選好方法からの直接アライメント(DAP)といった現在のポストトレーニング手法は、主にシングルサンプル比較を利用する。 これらのアプローチは、しばしば、複数のサンプルを通してより正確に評価される、生成的多様性や偏見のような重要な特徴を捉えることに失敗する。 これらの制約に対処するため,マルチサンプル比較を含むポストトレーニングを拡張した新しい手法を提案する。 そこで本研究では,mDPO(Multi-sample Direct Preference Optimization)とmIPO(Multi-sample Identity Preference Optimization)を提案する。 これらの手法はグループワイド特性に着目して従来のDAP法を改善する。 実験により,複数サンプル比較は単一サンプル比較よりも,生成モデルに対する集団特性~(例えば,多様性,バイアス)の最適化に有効であることが実証された。 さらに,マルチサンプル比較は,特にラベルノイズのあるデータセットに対して,より堅牢な最適化フレームワークを提供する可能性が示唆された。

関連論文リスト

• Unlocking the Capabilities of Masked Generative Models for Image Synthesis via Self-Guidance [25.41734642338575]
  Masked Generative Model (MGM)は、非常に効率的なサンプリングステップを提供しながら、印象的な生成能力を示している。 本稿では,より優れた生成品質を実現する自己誘導サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T01:48:05Z)
• Ordinal Preference Optimization: Aligning Human Preferences via NDCG [28.745322441961438]
  我々は、NDCGを異なる代理損失で近似することで、エンドツーエンドの選好最適化アルゴリズムを開発する。 OPOは、AlpacaEvalのような評価セットや一般的なベンチマークにおいて、既存のペアワイズおよびリストワイズアプローチよりも優れています。
  論文  参考訳（メタデータ） (2024-10-06T03:49:28Z)
• Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
  人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。 マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。 人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:56:11Z)
• mDPO: Conditional Preference Optimization for Multimodal Large Language Models [52.607764280030196]
  直接選好最適化(DPO)は,大規模言語モデル(LLM)のアライメントに有効な手法であることが示されている。 最近の研究は、DPOをマルチモーダルシナリオに適用しようと試みているが、一貫した改善を達成することは困難である。 画像の嗜好を最適化することで、言語のみの嗜好の過度な優先順位付けを防止するマルチモーダルDPOであるmDPOを提案する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:58Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Direct Preference Optimization With Unobserved Preference Heterogeneity [16.91835461818937]
  本稿では,生成モデルと人間の嗜好を一致させる新しい手法を提案する。 そこで我々はDPOに対する期待最大化適応を提案し、アノテータの潜在選好型に基づくモデルの混合を生成する。 我々のアルゴリズムはDPOの単純さを生かし、多様な好みを調節する。
  論文  参考訳（メタデータ） (2024-05-23T21:25:20Z)
• Diffusion Model Alignment Using Direct Preference Optimization [103.2238655827797]
  拡散DPOは,ヒトの比較データを直接最適化することにより,拡散モデルを人間の嗜好に合わせる手法である。 拡散DPOを用いた最先端安定拡散XL(SDXL)-1.0モデルの基礎モデルを微調整する。 また、AIフィードバックを使用し、人間の好みのトレーニングに匹敵するパフォーマンスを持つ亜種も開発しています。
  論文  参考訳（メタデータ） (2023-11-21T15:24:05Z)
• Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
  モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。 データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。 3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
  論文  参考訳（メタデータ） (2023-11-14T14:10:40Z)
• Towards Multimodal Response Generation with Exemplar Augmentation and Curriculum Optimization [73.45742420178196]
  本稿では,高度化とカリキュラム最適化を併用した,新しいマルチモーダル応答生成フレームワークを提案する。 我々のモデルは多様性と妥当性の点で強いベースラインに比べて大幅に改善されている。
  論文  参考訳（メタデータ） (2020-04-26T16:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。