論文の概要: Optimizing Language Models for Human Preferences is a Causal Inference Problem

• arxiv url: http://arxiv.org/abs/2402.14979v2
• Date: Wed, 5 Jun 2024 23:19:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 21:12:20.183976
• Title: Optimizing Language Models for Human Preferences is a Causal Inference Problem
• Title（参考訳）: 因果推論問題に対する言語モデルの最適化
• Authors: Victoria Lin, Eli Ben-Michael, Louis-Philippe Morency,
• Abstract要約: 直接結果データセットからの人間の嗜好に対する言語モデル最適化について検討する。 まず,言語モデルの最適化を因果問題と見なして,モデルがテキストと結果の関係を正しく学習することを保証する。 我々はCPOを2倍の頑健なCPOで拡張し、従属目的の分散を低減し、バイアスに対する確実な強い保証を維持します。
• 参考スコア（独自算出の注目度）: 41.59906798328058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) see greater use in academic and commercial settings, there is increasing interest in methods that allow language models to generate texts aligned with human preferences. In this paper, we present an initial exploration of language model optimization for human preferences from direct outcome datasets, where each sample consists of a text and an associated numerical outcome measuring the reader's response. We first propose that language model optimization should be viewed as a causal problem to ensure that the model correctly learns the relationship between the text and the outcome. We formalize this causal language optimization problem, and we develop a method--causal preference optimization (CPO)--that solves an unbiased surrogate objective for the problem. We further extend CPO with doubly robust CPO (DR-CPO), which reduces the variance of the surrogate objective while retaining provably strong guarantees on bias. Finally, we empirically demonstrate the effectiveness of (DR-)CPO in optimizing state-of-the-art LLMs for human preferences on direct outcome data, and we validate the robustness of DR-CPO under difficult confounding conditions.
• Abstract（参考訳）: 大規模言語モデル(LLM)が学術的・商業的に広く使われるようになるにつれて、言語モデルが人間の好みに沿ったテキストを生成する方法への関心が高まっている。 本稿では,テキストと関連する数値結果からなる直接結果データセットから人選好の言語モデル最適化について検討する。 まず,言語モデルの最適化を因果問題と見なして,モデルがテキストと結果の関係を正しく学習することを保証する。 本稿では,この因果的言語最適化問題を形式化し,その問題に対する非バイアスな代用目的を解決する手法-因果的選好最適化(CPO)を開発した。 さらにCPOを2倍に頑健なCPO(DR-CPO)で拡張し,サロゲート目標のばらつきを低減し,バイアスに対する強い保証を維持した。 最後に, DR-CPOの有効性を実証的に実証し, 困難条件下でのDR-CPOのロバスト性を検証した。

関連論文リスト

• The Hitchhiker's Guide to Human Alignment with *PO [43.4130314879284]
  我々は,高次パラメータの変動に対して同時に頑健であるアルゴリズムの同定に焦点をあてる。 解析の結果,広範に採用されているDPO法は,品質が劣る長大な応答を連続的に生成することがわかった。 これらの結果から,DPOアルゴリズムであるLN-DPOの精度が向上し,品質を損なうことなく,より簡潔な応答が得られることが示唆された。
  論文  参考訳（メタデータ） (2024-07-21T17:35:20Z)
• BiasDPO: Mitigating Bias in Language Models through Direct Preference Optimization [0.0]
  大規模言語モデル(LLM)は、自然言語処理の進歩において重要な役割を担っているが、バイアスの持続可能性には重大な懸念がある。 本稿では、英語テキストにおけるジェンダー、人種、宗教的偏見を緩和するために、DPO(Direct Preference Optimization)を用いた新しい枠組みを提案する。 バイアスのある完了よりもバイアスの少ない損失関数を開発することで、我々のアプローチは敬意と非差別的な言語を好む。
  論文  参考訳（メタデータ） (2024-07-18T22:32:20Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• MaxMin-RLHF: Towards Equitable Alignment of Large Language Models with Diverse Human Preferences [101.57443597426374]
  Reinforcement Learning from Human Feedback (RLHF) は、言語モデルと人間の嗜好を一致させる。 予測最大化アルゴリズムを用いて嗜好分布の混合を学習し、人間の嗜好をよりよく表現する。 従来のRLHFアルゴリズムよりも16%以上の勝利率向上を実現している。
  論文  参考訳（メタデータ） (2024-02-14T03:56:27Z)
• Active Preference Learning for Large Language Models [12.093302163058436]
  我々は、好みラベルをよりよく活用するために、DPOのアクティブな学習戦略を開発する。 本稿では,言語モデルの予測エントロピーに基づく,プロンプト/コンプリートペアの実用的な獲得関数を提案する。 提案手法は,ペアの選好データに基づく微調整の学習率と最終性能の両方を改善する方法を示す。
  論文  参考訳（メタデータ） (2024-02-12T23:09:00Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)
• Statistical Rejection Sampling Improves Preference Optimization [42.57245965632205]
  提案手法は,リジェクションサンプリングを用いた最適ポリシーからのソース選好データに対する新しいアプローチを提案する。 また、嗜好モデルの観点から、SLiC(Sequence Likelihood)とDPO(Direct Preference Optimization)の両方で使用される損失関数を強化する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-13T01:07:25Z)
• Fine-Tuning Language Models with Advantage-Induced Policy Alignment [80.96507425217472]
  大規模言語モデルと人間の嗜好を整合させる新しいアルゴリズムを提案する。 言語タスクにおいてPPOを常に上回り、大きなマージンを持つことを示す。 また,損失関数の設計を支援する理論的正当性も提供する。
  論文  参考訳（メタデータ） (2023-06-04T01:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。