論文の概要: BAPO: Base-Anchored Preference Optimization for Overcoming Forgetting in Large Language Models Personalization

• arxiv url: http://arxiv.org/abs/2407.00693v2
• Date: Sun, 29 Sep 2024 08:50:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:01:56.463596
• Title: BAPO: Base-Anchored Preference Optimization for Overcoming Forgetting in Large Language Models Personalization
• Title（参考訳）: BAPO:大規模言語モデルのパーソナライズにおける予測の克服のためのベースアンコール優先最適化
• Authors: Gihun Lee, Minchan Jeong, Yujin Kim, Hojung Jung, Jaehoon Oh, Sangmook Kim, Se-Young Yun,
• Abstract要約: 本稿では,パーソナライズされた好み最適化が大規模言語モデル(LLM)に与える影響について検討する。 BAPOは、グローバルな知識や一般的なアライメントを最小限に抑えながら、多様なユーザの好みに効果的に適応する。
• 参考スコア（独自算出の注目度）: 26.526171463511332
• License:
• Abstract: While learning to align Large Language Models (LLMs) with human preferences has shown remarkable success, aligning these models to meet the diverse user preferences presents further challenges in preserving previous knowledge. This paper examines the impact of personalized preference optimization on LLMs, revealing that the extent of knowledge loss varies significantly with preference heterogeneity. Although previous approaches have utilized the KL constraint between the reference model and the policy model, we observe that they fail to maintain general knowledge and alignment when facing personalized preferences. To this end, we introduce Base-Anchored Preference Optimization (BAPO), a simple yet effective approach that utilizes the initial responses of reference model to mitigate forgetting while accommodating personalized alignment. BAPO effectively adapts to diverse user preferences while minimally affecting global knowledge or general alignment. Our experiments demonstrate the efficacy of BAPO in various setups.
• Abstract（参考訳）: LLM(Large Language Models)を人間の好みに合わせることを学ぶ一方で、これらのモデルを多様なユーザの好みに合わせることで、以前の知識を維持する上でさらなる課題が浮かび上がっている。 本稿では,LLMに対するパーソナライズされた選好最適化の影響について検討し,選好の不均一性によって知識損失の程度が著しく変化することを示した。 従来のアプローチでは,参照モデルとポリシモデルの間のKL制約を利用していたが,パーソナライズされた嗜好に直面すると,一般的な知識やアライメントの維持に失敗する。 そこで本研究では,参照モデルの初期応答を利用して,パーソナライズされたアライメントを調整しながら,忘れを緩和する,シンプルかつ効果的なアプローチであるBase-Anchored Preference Optimization(BAPO)を紹介する。 BAPOは、グローバルな知識や一般的なアライメントを最小限に抑えながら、多様なユーザの好みに効果的に適応する。 本実験は, BAPOの有効性を実証するものである。

関連論文リスト

• Exposing Privacy Gaps: Membership Inference Attack on Preference Data for LLM Alignment [8.028743532294532]
  そこで我々は、PreMIAと呼ばれる嗜好データを分析するための新しい参照ベースアタックフレームワークを提案する。 PPOモデルと比較してDPOモデルの方がMIAに弱いという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-07-08T22:53:23Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Hybrid Preference Optimization: Augmenting Direct Preference Optimization with Auxiliary Objectives [0.5120567378386615]
  大規模言語モデル(LLM)を協調するハイブリッドアプローチを提案する。 DPO の暗黙的な報酬分解に対する単純な拡張により、任意の補助報酬の集合を最大化するために LLM をチューニングできる。 提案手法であるHybrid Preference Optimization (HPO) は,ユーザの好みと補助的な設計目的の両方に効果的に一般化できることを示す。
  論文  参考訳（メタデータ） (2024-05-28T08:35:48Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment [107.63756895544842]
  人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。 既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。 制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
  論文  参考訳（メタデータ） (2024-02-29T12:12:30Z)
• Active Preference Learning for Large Language Models [12.093302163058436]
  我々は、好みラベルをよりよく活用するために、DPOのアクティブな学習戦略を開発する。 本稿では,言語モデルの予測エントロピーに基づく,プロンプト/コンプリートペアの実用的な獲得関数を提案する。 提案手法は,ペアの選好データに基づく微調整の学習率と最終性能の両方を改善する方法を示す。
  論文  参考訳（メタデータ） (2024-02-12T23:09:00Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
  本研究では,多彩な嗜好が報酬モデルに及ぼす影響について検討する。 その結果,様々な選好データが報酬モデルのキャリブレーション性能に悪影響を及ぼすことがわかった。 本稿では,RMの校正性能を高めるための多目的リワード学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-12T16:17:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。