論文の概要: GroupDPO: Memory efficient Group-wise Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2604.15602v1
• Date: Fri, 17 Apr 2026 00:56:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.68895
• Title: GroupDPO: Memory efficient Group-wise Direct Preference Optimization
• Title（参考訳）: GroupDPO: メモリ効率のよいグループワイド直接参照最適化
• Abstract要約: バックプロパゲーション中にサンプルをデカップリングしながら勾配を保ちながらメモリ効率の高いグループワイズ最適化アルゴリズムを導入する。 オフラインとオンラインのアライメント設定の両方で、複数のレスポンスを活用することでシングルペアトレーニングを継続的に上回ることを示す。
• 参考スコア（独自算出の注目度）: 29.469340103121144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Preference optimization is widely used to align Large Language Models (LLMs) with preference feedback. However, most existing methods train on a single positive-negative pair per prompt, discarding additional supervision available in preference datasets that typically contain multiple candidate responses. Motivated by this limitation, recent work explores group-wise preference optimization, which jointly contrasts multiple responses for the same prompt, but its empirical behavior and scalability remain underexplored due to the memory overhead of group-coupled objectives. In this work, we introduce a memory-efficient group-wise preference optimization algorithm that preserves gradients while decoupling samples during backpropagation, substantially reducing peak memory usage, which enables scalable training with larger group sizes. Across both offline and online alignment settings, we show that leveraging multiple responses consistently outperforms single-pair training. Furthermore, incorporating a negative log-likelihood (NLL) term on positive responses is critical for both performance gains and training stability.
• Abstract（参考訳）: 優先度最適化は、Large Language Models (LLM) を好みのフィードバックに合わせるために広く使われている。 しかしながら、既存のほとんどのメソッドは、プロンプト毎に1つの正負のペアでトレーニングし、通常複数の候補応答を含む優先データセットで利用可能な追加の監督を廃止している。 この制限によって動機づけられた最近の研究は、同じプロンプトに対して複数の応答を共同で比較するグループワイドな選好最適化を探求しているが、グループ結合された目的のメモリオーバーヘッドのため、その経験的挙動とスケーラビリティは未解明のままである。 本研究では,バックプロパゲーション中にサンプルをデカップリングしながら勾配を保ち,最大メモリ使用量を大幅に削減し,グループサイズを大きくしたスケーラブルなトレーニングを可能にする,メモリ効率の高いグループ優先最適化アルゴリズムを提案する。 オフラインとオンラインのアライメント設定の両方で、複数のレスポンスを活用することでシングルペアトレーニングを継続的に上回ることを示す。 さらに、負の対数類似項(NLL)を正の応答に組み込むことは、性能向上とトレーニング安定性の両方に不可欠である。

関連論文リスト

• Optimizing Sparse Outcomes Through Dense Behavioral Signals via Value-Guided Preference Distillation [5.277024349608834]
  多目的強化学習問題として長軸対話最適化を定式化する。 本研究では, 高密度補助行動信号のスカラー化合成により, 効果的なクレジット割り当てとスパース結果の最適化が可能であることを示す。 本研究は, 蒸留法により, 長期使用者の保持が著しく向上し, 同時に, 肯定的行動や治療・プロセスマーカーが強化されることを実証する。
  論文  参考訳（メタデータ） (2026-09-13T16:32:54Z)
• MASS-DPO: Multi-negative Active Sample Selection for Direct Policy Optimization [66.81594613265833]
  直接選好最適化(DPO)を拡張したPlackett--Luce(PL)モデルに基づくマルチ負の選好最適化 そこで本研究では,PL固有のフィッシャー情報目的を導出し,各プロンプト内のコンパクトで情報的な負の部分集合を選択するマルチ負のアクティブサンプル選択法であるMASS-DPOを紹介する。 MASS-DPOは、既存の手法を常に精度で上回り、リコール/NDCGとマージンベースの最適化のダイナミクスを改善し、かなり少ない負のアライメントを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:18:08Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• Beyond Single: A Data Selection Principle for LLM Alignment via Fine-Grained Preference Signals [46.58760908162995]
  本研究では,大規模言語モデルのための新しい理論的基盤データ選択法を提案する。 直接選好最適化目標の損失境界を解析することにより,この戦略の最適性を証明する。 我々の戦略は、標準的な全体主義的嗜好とより強い託宣の両方に対して、10%以上の相対的な改善を達成する。
  論文  参考訳（メタデータ） (2025-08-11T05:43:02Z)
• AMPO: Active Multi-Preference Optimization for Self-play Preference Selection [16.230186347702737]
  マルチパラメータ最適化は、有用な応答と望ましくない応答の集合全体を対比することにより、ペアの好みを超えた言語モデルアライメントを強化する。 そこで本稿では,オンライン・プライス・ジェネレーション,マルチ・コントラスト・グループ・コントラスト・ロス,アクティブ・サブセット選択を組み合わせた新しいアプローチである,$textitActive Multi-Preference Optimization$ (AMPO)を提案する。 AMPO は Llama 8B と Mistral Mist 7B を使って $textitAlpacaEval$ で最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-02-25T15:29:51Z)
• Self-Improvement Towards Pareto Optimality: Mitigating Preference Conflicts in Multi-Objective Alignment [74.25832963097658]
  マルチオブジェクトアライメント(MOA)は、応答を複数の人間の嗜好目標に合わせることを目的としている。 DPOをベースとしたMOAアプローチは、データに広範囲にわたる優先的対立に悩まされている。
  論文  参考訳（メタデータ） (2025-02-20T08:27:00Z)
• Multi-Preference Optimization: Generalizing DPO via Set-Level Contrasts [17.243429150450886]
  応答集合全体の最適化のために,$textbfMulti-Preference Optimization (MPO)を提案する。 MPOは偏差に基づく重み付けを採用しており、平均的な報酬から最も逸脱する外れ値の応答を強調している。 理論的には、MPOはクエリ毎のレスポンス数に対して$mathcalOleft(frac1sqrtnright)$でアライメントバイアスを低減する。
  論文  参考訳（メタデータ） (2024-12-05T21:50:22Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。