論文の概要: Many of Your DPOs are Secretly One: Attempting Unification Through Mutual Information

• arxiv url: http://arxiv.org/abs/2501.01544v1
• Date: Thu, 02 Jan 2025 21:31:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 16:38:31.493811
• Title: Many of Your DPOs are Secretly One: Attempting Unification Through Mutual Information
• Title（参考訳）: あなたのDPOの多くは秘密の1つ:相互情報による統一の試み
• Authors: Rasul Tutnov, Antoine Grosnit, Haitham Bou-Ammar,
• Abstract要約: 大規模言語モデル(LLM)のポストアライメントは、実用性、安全性、人間の意図との整合性を改善する上で重要である。 直接選好最適化(DPO)は、このアライメントを実現するために最も広く使われているアルゴリズムの1つである。 本稿では,相互情報にインスパイアされた統一的な枠組みを導入し,フレキシブルな先行する新たな損失関数を提案する。
• 参考スコア（独自算出の注目度）: 5.655057078073446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-alignment of large language models (LLMs) is critical in improving their utility, safety, and alignment with human intentions. Direct preference optimisation (DPO) has become one of the most widely used algorithms for achieving this alignment, given its ability to optimise models based on human feedback directly. However, the vast number of DPO variants in the literature has made it increasingly difficult for researchers to navigate and fully grasp the connections between these approaches. This paper introduces a unifying framework inspired by mutual information, which proposes a new loss function with flexible priors. By carefully specifying these priors, we demonstrate that many existing algorithms, such as SimPO, TDPO, SparsePO, and others, can be derived from our framework. This unification offers a clearer and more structured approach, allowing researchers to understand the relationships between different DPO variants better. We aim to simplify the landscape of DPO algorithms, making it easier for the research community to gain insights and foster further advancements in LLM alignment. Ultimately, we hope our framework can be a foundation for developing more robust and interpretable alignment techniques.
• Abstract（参考訳）: 大規模言語モデル(LLM)のポストアライメントは、実用性、安全性、人間の意図との整合性を改善する上で重要である。 直接選好最適化(DPO)は、人間のフィードバックに基づいてモデルを直接最適化する能力を考えると、このアライメントを達成するために最も広く使われているアルゴリズムの1つである。 しかし、文献における膨大な数のDPO変異は、研究者がこれらのアプローチ間の関係をナビゲートし、完全に把握することがますます困難になっている。 本稿では,相互情報にインスパイアされた統一的な枠組みを導入し,フレキシブルな先行する新たな損失関数を提案する。 これらの前提を慎重に定義することにより、SimPO、TDPO、SparsePOなどの既存のアルゴリズムが我々のフレームワークから導出できることを実証する。 この統合は、より明確でより構造化されたアプローチを提供し、研究者は異なるDPO変種間の関係をよりよく理解することができる。 我々は,DPOアルゴリズムのランドスケープを簡素化し,研究コミュニティが洞察を得やすくし,LLMアライメントのさらなる進歩を促進することを目的としている。 最終的には、我々のフレームワークがより堅牢で解釈可能なアライメント技術を開発する基盤になることを期待しています。

関連論文リスト

• A Survey of Direct Preference Optimization [103.59317151002693]
  LLM(Large Language Models)は、前例のない生成能力を示す。 人的価値との整合性は、有用で無害なデプロイメントを保証する上で、依然として重要です。 直接優先度最適化(DPO)は、最近、合理化された代替案として注目されている。
  論文  参考訳（メタデータ） (2025-03-12T08:45:15Z)
• Active Learning for Direct Preference Optimization [59.84525302418018]
  直接選好最適化(DPO)は、人間のフィードバックからの強化学習の一種である。 オンラインのフィードバック収集や,すでに収集したフィードバックの最も情報性の高いサブセットをオフラインで選択できる,DPOのためのアクティブラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-03T00:36:31Z)
• Self-Improvement Towards Pareto Optimality: Mitigating Preference Conflicts in Multi-Objective Alignment [74.25832963097658]
  マルチオブジェクトアライメント(MOA)は、応答を複数の人間の嗜好目標に合わせることを目的としている。 DPOをベースとしたMOAアプローチは、データに広範囲にわたる優先的対立に悩まされている。
  論文  参考訳（メタデータ） (2025-02-20T08:27:00Z)
• SDPO: Segment-Level Direct Preference Optimization for Social Agents [56.970902914217156]
  大規模言語モデル(LLM)を利用した社会エージェントは、人間の社会的振る舞いをシミュレートできるが、複雑な社会対話を扱うには不十分である。 マルチターンエージェントの動作を最適化するために,対話内のキーセグメントを動的に選択するセグメントレベル直接参照最適化(SDPO)を提案する。
  論文  参考訳（メタデータ） (2025-01-03T14:09:46Z)
• A Comprehensive Survey of Direct Preference Optimization: Datasets, Theories, Variants, and Applications [52.42860559005861]
  DPO(Direct Preference Optimization)は、アライメントのための有望なアプローチとして登場した。 DPOの様々な進歩と固有の制限にもかかわらず、これらの側面の詳細なレビューは現在、文献に欠けている。
  論文  参考訳（メタデータ） (2024-10-21T02:27:24Z)
• RainbowPO: A Unified Framework for Combining Improvements in Preference Optimization [22.45649373554474]
  RainbowPOはキーコンポーネントを7つの方向に分類する統合フレームワークである。 RainbowPOは既存のDPOよりも優れていることを実証する。 我々は、研究者が新しいDPO手法の開発を指導し、実践者を支援するための洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-05T15:44:46Z)
• Towards a Unified View of Preference Learning for Large Language Models: A Survey [88.66719962576005]
  大きな言語モデル(LLM)は、非常に強力な能力を示す。 成功するための重要な要因の1つは、LLMの出力を人間の好みに合わせることである。 選好学習のすべての戦略を、モデル、データ、フィードバック、アルゴリズムの4つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-09-04T15:11:55Z)
• The Hitchhiker's Guide to Human Alignment with *PO [43.4130314879284]
  我々は,高次パラメータの変動に対して同時に頑健であるアルゴリズムの同定に焦点をあてる。 解析の結果,広範に採用されているDPO法は,品質が劣る長大な応答を連続的に生成することがわかった。 これらの結果から,DPOアルゴリズムであるLN-DPOの精度が向上し,品質を損なうことなく,より簡潔な応答が得られることが示唆された。
  論文  参考訳（メタデータ） (2024-07-21T17:35:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。