論文の概要: Direct Preference Density Alignment for Conversational Audio Equalization

• arxiv url: http://arxiv.org/abs/2609.12607v1
• Date: Fri, 11 Sep 2026 09:05:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 10:54:53.420674
• Title: Direct Preference Density Alignment for Conversational Audio Equalization
• Title（参考訳）: 会話型音声等化のための直接参照密度アライメント
• Abstract要約: 直接優先度密度アライメント: 学習したプロキシ報酬モデルの必要性を排除した代替フレームワーク。 我々は、大規模ユーザデータ(約9万サンプル)を活用して、非パラメトリックな嗜好密度マップを構築する。 ブラインドオーディオ等化聴取テストにおいて,このGRPO+DPOの組み合わせが最高性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 12.358415132192148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model alignment typically relies on learned proxy reward models, which significantly increase the memory footprint during training and are notoriously prone to instability and reward hacking. While offline methods like Direct Preference Optimization (DPO) bypass the reward model, they lose the ability to perform online exploration. If no optimization constraints are applied, this can lead to format collapse in bounded, continuous spaces. To resolve this, we propose Direct Preference Density Alignment: An alternative framework that removes the need for a learned proxy reward model while strictly preserving the benefits of online reinforcement learning. We leverage large-scale user data (approximately 90,000 samples) to construct non-parametric preference density maps, establishing an empirical reward surface. In addition to removing the reward model, Direct Preference Density Alignment enables the combination of the online structural grounding of Group Relative Policy Optimization (GRPO) with the targeted offline refinement of DPO. We show that this GRPO+DPO combination achieves the highest performance, and in a blind audio equalization listening test, enables a 1.5B-parameter model to achieve perceptual parity with a carefully prompt-engineered GPT-4o mini baseline, using only a fraction of the inference compute.
• Abstract（参考訳）: 大規模な言語モデルアライメントは通常、学習されたプロキシ報酬モデルに依存しており、トレーニング中にメモリフットプリントが大幅に増加し、不安定性と報酬のハッキングの傾向が悪名高い。 Direct Preference Optimization (DPO)のようなオフラインメソッドは報酬モデルをバイパスするが、オンライン探索を行う能力を失う。 最適化の制約が適用されない場合、これは境界付き連続空間におけるフォーマットの崩壊につながる。 これを解決するために,オンライン強化学習の利点を厳格に保ちながら,学習したプロキシ報酬モデルの必要性を解消するフレームワークを提案する。 我々は、大規模なユーザデータ(約9万サンプル)を活用して、非パラメトリックな嗜好密度マップを構築し、経験的な報酬面を確立する。 報酬モデルを削除することに加えて、直接優先度密度アライメントは、グループ相対ポリシー最適化(GRPO)のオンライン構造基盤と、DPOのターゲットとするオフラインリファインメントの組み合わせを可能にする。 我々は,このGRPO+DPOの組み合わせが最高性能を達成し,可視音声等化聴取テストにおいて,1.5Bパラメータモデルにより,入出力の少ないGPT-4oミニベースラインで知覚パリティを達成可能であることを示す。

関連論文リスト

• FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment [55.97027207627]
  Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。 パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。 複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
  論文  参考訳（メタデータ） (2026-03-20T08:24:49Z)
• Tangent Space Fine-Tuning for Directional Preference Alignment in Large Language Models [0.2538209532048867]
  私たちのゴールは、原則と制御可能なアライメントを通じて、大きな言語モデルで人間の好みの次元をバランスさせることです。 本稿では、局所線形な状態下でDPOを実行し、オブジェクトごとの更新方向を学習するTangent-Space Direct Preference Optimization (TS-DPO)を提案する。
  論文  参考訳（メタデータ） (2026-02-01T09:56:28Z)
• Multi-dimensional Preference Alignment by Conditioning Reward Itself [32.33870784484853]
  Multi Reward Conditional DPOは、非絡み合いのBradley-Terry目標を導入することで、報酬競合を解決する。 安定1.5とSDXLの実験は、MCDPOがベンチマーク上で優れたパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-12-11T02:44:31Z)
• A Principled Loss Function for Direct Language Model Alignment [0.0]
  本稿では,RLHF最適条件から直接導出した新しい損失関数を提案する。 提案した損失は,その差ではなく,基礎となる報酬によって規定される,ロジットの特定の有限値を対象としている。 この固有の安定性は、報酬のハッキングを防ぎ、より効果的なアライメントをもたらす。
  論文  参考訳（メタデータ） (2025-08-10T01:56:58Z)
• Iterative Length-Regularized Direct Preference Optimization: A Case Study on Improving 7B Language Models to GPT-4 Level [50.897438358317686]
  また, iLR-DPOは, 冗長性を増大させることなく, GPT-4と同等の7Bモデルを実現できることを示した。 具体的には、我々の7Bモデルは、AlpacaEval 2.0で$texttGPT-4 Preview$に対して50.5%の利益率を達成する。
  論文  参考訳（メタデータ） (2024-06-17T17:55:38Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF [80.32171988565999]
  オンラインとオフラインのRLHFに統一的なアプローチを導入します。 VPOは、報酬関数の最大値推定を対応する値関数で正規化する。 テキスト要約とダイアログの実験は、VPOの実用性と有効性を検証する。
  論文  参考訳（メタデータ） (2024-05-29T17:51:42Z)
• Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
  Direct Preference Optimization (DPO) は、プライオリティデータに基づいてポリシーを直接訓練する一般的なオフラインアライメント手法である。 我々はこの現象を分析し、蒸留を用いて生成対よりも真の嗜好分布のより良いプロキシを得る。 以上の結果から,このような報酬モデルからの蒸留は,優先アノテーションの分布変化に対するロバスト性の向上につながることが示唆された。
  論文  参考訳（メタデータ） (2024-05-29T17:39:48Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。