論文の概要: Annotation-Efficient Preference Optimization for Language Model Alignment

• arxiv url: http://arxiv.org/abs/2405.13541v1
• Date: Wed, 22 May 2024 11:23:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 00:24:16.631759
• Title: Annotation-Efficient Preference Optimization for Language Model Alignment
• Title（参考訳）: 言語モデルアライメントのためのアノテーション効率の良い選好最適化
• Authors: Yuu Jinnai, Ukyo Honda,
• Abstract要約: 制限付きアノテーション予算を使って効果的な選好データセットを作成する方法を示す。 AEPOを用いてDPO(Direct Preference Optimization)の性能を評価し、同じアノテーション予算で標準DPOを用いてトレーニングしたモデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 3.726173629675064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Preference optimization is a standard approach to fine-tuning large language models to align with human preferences. The quality, diversity, and quantity of the preference dataset are critical to the effectiveness of preference optimization. However, obtaining a large amount of high-quality and diverse preference annotations is difficult in many applications. This raises the question of how to use the limited annotation budget to create an effective preference dataset. To this end, we propose Annotation-Efficient Preference Optimization (AEPO). Instead of exhaustively annotating preference over all available response texts, AEPO selects a subset of responses that maximizes quality and diversity from the available responses, and then annotates preference over the selected ones. In this way, AEPO focuses the annotation budget on labeling preference over a smaller subset of responses with diversity and of high quality. We evaluate the performance of Direct Preference Optimization (DPO) using AEPO and show that it outperforms models trained using a standard DPO with the same annotation budget. Our code is available at https://github.com/CyberAgentAILab/annotation-efficient-po
• Abstract（参考訳）: 優先度最適化は、人間の好みに合わせて微調整された大きな言語モデルに対する標準的なアプローチである。 選好データセットの品質、多様性、量は、選好最適化の有効性に不可欠である。 しかし、多くのアプリケーションにおいて、高品質で多様な好みアノテーションを得ることは困難である。 これにより、制限されたアノテーション予算を使用して効果的な選好データセットを作成する方法に関する疑問が提起される。 この目的のために,アノテーション効率の最適化 (AEPO) を提案する。 AEPOは、利用可能なすべてのレスポンステキストに対して完全に注釈付けする代わりに、利用可能なレスポンスから品質と多様性を最大化する応答のサブセットを選択し、選択したレスポンスよりも好みに注釈を付ける。 このように、AEPOは、多様性と高品質のレスポンスの小さなサブセットよりも、好みのラベル付けに重点を置いている。 AEPOを用いてDPO(Direct Preference Optimization)の性能を評価し、同じアノテーション予算で標準DPOを用いてトレーニングしたモデルよりも優れていることを示す。 私たちのコードはhttps://github.com/CyberAgentAILab/annotation- efficient-poで利用可能です。

関連論文リスト

• VPO: Leveraging the Number of Votes in Preference Optimization [5.200545764106177]
  本稿では,ユーザの投票データを活用し,多様な主観的嗜好に適合する手法を提案する。 我々は,議論を呼んでいる世代対と明らかな世代対を区別するために,双方の投票数を組み込んだVoteベースのPreference Optimizationフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-30T10:39:34Z)
• TPO: Aligning Large Language Models with Multi-branch & Multi-step Preference Trees [14.84379332031731]
  本稿では、選好木からペア化された選好応答をサンプリングしないツリー選好最適化(TPO)を導入する。 TPOは、言語モデルのアライメントを、優先順位リストランキング問題として定式化し、ポリシーは、ランク付けされた優先順位リストからより効果的に学習することができる。
  論文  参考訳（メタデータ） (2024-10-10T22:22:05Z)
• mDPO: Conditional Preference Optimization for Multimodal Large Language Models [52.607764280030196]
  直接選好最適化(DPO)は,大規模言語モデル(LLM)のアライメントに有効な手法であることが示されている。 最近の研究は、DPOをマルチモーダルシナリオに適用しようと試みているが、一貫した改善を達成することは困難である。 画像の嗜好を最適化することで、言語のみの嗜好の過度な優先順位付けを防止するマルチモーダルDPOであるmDPOを提案する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:58Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Hybrid Preference Optimization: Augmenting Direct Preference Optimization with Auxiliary Objectives [0.5120567378386615]
  大規模言語モデル(LLM)を協調するハイブリッドアプローチを提案する。 DPO の暗黙的な報酬分解に対する単純な拡張により、任意の補助報酬の集合を最大化するために LLM をチューニングできる。 提案手法であるHybrid Preference Optimization (HPO) は,ユーザの好みと補助的な設計目的の両方に効果的に一般化できることを示す。
  論文  参考訳（メタデータ） (2024-05-28T08:35:48Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  大きな言語モデル(LLM)を整列させる一般的な手法は、人間の好みを取得することに依存する。 本稿では,命令応答対に対して協調的に好みを抽出する新たな軸を提案する。 また,LLMのアライメントを大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Direct Preference Optimization with an Offset [58.7977683502207]
  直接選好最適化(DPO)は、大きな言語モデルと人間の選好を整合させる成功戦略である。 本稿では,DPOをオフセット(ODPO)で一般化し,微調整時にすべての選好ペアを等しく扱わないDPOを提案する。
  論文  参考訳（メタデータ） (2024-02-16T10:55:38Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。