論文の概要: Panacea: Pareto Alignment via Preference Adaptation for LLMs
- arxiv url: http://arxiv.org/abs/2402.02030v1
- Date: Sat, 3 Feb 2024 05:01:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 22:37:48.756971
- Title: Panacea: Pareto Alignment via Preference Adaptation for LLMs
- Title(参考訳): Panacea: LLMの優先適応によるパレートアライメント
- Authors: Yifan Zhong, Chengdong Ma, Xiaoyuan Zhang, Ziran Yang, Qingfu Zhang,
Siyuan Qi, Yaodong Yang
- Abstract要約: Panaceaは、多次元の選好最適化問題としてアライメントを再構築する革新的なアプローチである。
主要な課題は、モデルの振舞いを導くために低次元の嗜好ベクトルを使うことである。
パナセアは特異値分解(SVD)に基づく低ランク適応を使用するように設計されている。
- 参考スコア(独自算出の注目度): 20.02186654371018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current methods for large language model alignment typically use scalar human
preference labels. However, this convention tends to oversimplify the
multi-dimensional and heterogeneous nature of human preferences, leading to
reduced expressivity and even misalignment. This paper presents Panacea, an
innovative approach that reframes alignment as a multi-dimensional preference
optimization problem. Panacea trains a single model capable of adapting online
and Pareto-optimally to diverse sets of preferences without the need for
further tuning. A major challenge here is using a low-dimensional preference
vector to guide the model's behavior, despite it being governed by an
overwhelmingly large number of parameters. To address this, Panacea is designed
to use singular value decomposition (SVD)-based low-rank adaptation, which
allows the preference vector to be simply injected online as singular values.
Theoretically, we prove that Panacea recovers the entire Pareto front with
common loss aggregation methods under mild conditions. Moreover, our
experiments demonstrate, for the first time, the feasibility of aligning a
single LLM to represent a spectrum of human preferences through various
optimization methods. Our work marks a step forward in effectively and
efficiently aligning models to diverse and intricate human preferences in a
controllable and Pareto-optimal manner.
- Abstract(参考訳): 現在の大規模言語モデルアライメントの方法は、通常、スカラー人間の好みラベルを使用する。
しかし、この慣習は人間の好みの多次元的・異質な性質を過度に単純化し、表現力の低下や誤認につながる傾向がある。
本稿では,多次元優先最適化問題としてアライメントを再構成する革新的手法であるPanaceaを提案する。
panaceaは、オンラインとパレートを最適化して、さらなるチューニングを必要とせずに様々な好みに適応できる単一モデルを訓練する。
ここでの大きな課題は、非常に多くのパラメータによって制御されているにもかかわらず、低次元の選好ベクトルを使用してモデルの振る舞いを導くことである。
これに対処するため、panaceaは特異値分解(single value decomposition:svd)ベースの低ランク適応を使用するように設計されている。
理論的には, パナセアは軽度条件下で共通の損失凝集法でパレトフロント全体を回復する。
さらに,様々な最適化手法を用いて,人間の好みのスペクトルを表現するために単一のllmを調整できることを示す実験を行った。
私たちの研究は、モデルを効率的かつ効率的に、多様で複雑に調整し、制御可能でパレート最適な方法で人間の好みに合わせるための一歩を踏み出します。
関連論文リスト
- Controllable Preference Optimization: Toward Controllable
Multi-Objective Alignment [107.63756895544842]
人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。
既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。
制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
論文 参考訳(メタデータ) (2024-02-29T12:12:30Z) - Rewards-in-Context: Multi-objective Alignment of Foundation Models with
Dynamic Preference Adjustment [48.773648757361975]
リワード・イン・コンテキスト(Rewards-in-Context, RiC)を導入する。
RiCは単一のファンデーションモデルの教師付き微調整のみを必要とし、推論時間中にユーザの好みを動的に調整する。
論文 参考訳(メタデータ) (2024-02-15T18:58:31Z) - Aligning Crowd Feedback via Distributional Preference Reward Modeling [30.468757225982557]
本研究では,大きな言語モデルと人間の好みの多様なセットを一致させるために,DPRM(Distributal Preference Reward Model)を導入する。
実験の結果,DPRM は LLM と人口嗜好の整合性を著しく向上させ,より正確で偏りがなく,文脈的に適切な応答をもたらすことが示された。
論文 参考訳(メタデータ) (2024-02-15T07:29:43Z) - Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct
Preference Optimization [78.50294936259026]
我々は、最小限のオーバーヘッドで複数のアライメント目標に対して、MODPO(Multi-Objective Direct Preference Optimization)を提案する。
MODPOは言語モデリングを直接報酬モデリングに折り畳み、全ての目的を特定の重み付けと組み合わせた暗黙的な集団報酬モデル(cRM)としてLMを訓練する。
理論上は MORLHF と同じ最適解を生成することが保証されているが、MODPO は事実上より安定で計算的に効率的である。
論文 参考訳(メタデータ) (2023-10-05T17:35:26Z) - Efficient first-order predictor-corrector multiple objective
optimization for fair misinformation detection [5.139559672771439]
多重目的最適化(MOO)は、複数の競合する目的を同時に最適化することを目的としており、機械学習において重要な応用を見出した。
本稿では,線形にしかスケールしないガウスニュートン近似を提案し,イテレーション毎に一階内積しか必要としない。
このイノベーションは、大規模ネットワークで予測器のコレクタを可能にする。
論文 参考訳(メタデータ) (2022-09-15T12:32:15Z) - Pareto Navigation Gradient Descent: a First-Order Algorithm for
Optimization in Pareto Set [17.617944390196286]
マルチタスク学習のような現代の機械学習アプリケーションは、複数の目的関数をトレードオフするために最適なモデルパラメータを見つける必要がある。
勾配情報のみを用いてOPT-in-Paretoを近似的に解く1次アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-10-17T04:07:04Z) - Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。
セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。
提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
論文 参考訳(メタデータ) (2020-12-08T18:59:32Z) - Human Preference-Based Learning for High-dimensional Optimization of
Exoskeleton Walking Gaits [55.59198568303196]
この研究は、LineCoSparという、高次元でユーザの好みを学習するヒューマン・イン・ザ・ループの好みベースのフレームワークを提示する。
シミュレーションと人為的試行において,LineCoSparは高次元の選好最適化のためのサンプル効率のよい手法であることを実証的に検証した。
この結果はエキソ骨格の歩行合成に影響を及ぼし,臨床応用と患者のリハビリテーションに有効である。
論文 参考訳(メタデータ) (2020-03-13T22:02:15Z) - MINA: Convex Mixed-Integer Programming for Non-Rigid Shape Alignment [77.38594866794429]
非剛体形状マッチングのための凸混合整数プログラミングの定式化。
効率的な低次元離散モデルに基づく新しい形状変形モデルを提案する。
論文 参考訳(メタデータ) (2020-02-28T09:54:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。