論文の概要: Optimizing Language Models for Human Preferences is a Causal Inference
Problem
- arxiv url: http://arxiv.org/abs/2402.14979v1
- Date: Thu, 22 Feb 2024 21:36:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 16:18:36.501517
- Title: Optimizing Language Models for Human Preferences is a Causal Inference
Problem
- Title(参考訳): 人間好みのための言語モデル最適化は因果推論問題である
- Authors: Victoria Lin, Eli Ben-Michael, Louis-Philippe Morency
- Abstract要約: 直接結果データセットからの人間の嗜好に対する言語モデル最適化について検討する。
まず,言語モデルの最適化を因果問題と見なして,モデルがテキストと結果の関係を正しく学習することを保証する。
我々はCPOを2倍の頑健なCPOで拡張し、従属目的の分散を低減し、バイアスに対する確実な強い保証を維持します。
- 参考スコア(独自算出の注目度): 46.75318356800048
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models (LLMs) see greater use in academic and commercial
settings, there is increasing interest in methods that allow language models to
generate texts aligned with human preferences. In this paper, we present an
initial exploration of language model optimization for human preferences from
direct outcome datasets, where each sample consists of a text and an associated
numerical outcome measuring the reader's response. We first propose that
language model optimization should be viewed as a causal problem to ensure that
the model correctly learns the relationship between the text and the outcome.
We formalize this causal language optimization problem, and we develop a
method--causal preference optimization (CPO)--that solves an unbiased surrogate
objective for the problem. We further extend CPO with doubly robust CPO
(DR-CPO), which reduces the variance of the surrogate objective while retaining
provably strong guarantees on bias. Finally, we empirically demonstrate the
effectiveness of (DR-)CPO in optimizing state-of-the-art LLMs for human
preferences on direct outcome data, and we validate the robustness of DR-CPO
under difficult confounding conditions.
- Abstract(参考訳): 大規模言語モデル(llm)は学術的・商業的な場面で広く使われるため、言語モデルが人間の好みに沿ったテキストを生成する方法への関心が高まっている。
本稿では,直接結果データセットから人間好みの言語モデル最適化の初期検討を行い,各サンプルがテキストからなり,読者の反応を計測する数値結果が得られた。
まず、言語モデルの最適化は、モデルがテキストと結果の関係を正しく学習することを保証するための因果問題と見なすべきである。
この因果的言語最適化問題を定式化し,問題に対する偏りのない帰納的目的を解決する手法-causal preference optimization (cpo) を開発した。
さらにCPOを2倍に頑健なCPO(DR-CPO)で拡張し,サロゲート目標のばらつきを低減し,バイアスに対する強い保証を維持した。
最後に,直接結果データに対する人間の好みに対する最先端llmの最適化における(dr-)cpoの有効性を実証的に示し,困難なコンファウンディング条件下でのdr-cpoのロバスト性を検証する。
関連論文リスト
- CURATRON: Complete Robust Preference Data for Robust Alignment of Large
Language Models [1.7849982327883962]
本稿では,大規模言語モデル(LLM)と人間の価値観を協調させる上での課題について,嗜好学習(PL)を用いて検討する。
そこで本研究では,これらのデータセット内での値の頑健かつ完全再検討を行う新しい手法を提案する。
我々のアルゴリズムは、一般と選好の両方のデータセット設定において、逆ノイズと観測されていない比較をうまく処理する。
論文 参考訳(メタデータ) (2024-03-05T07:58:12Z) - MaxMin-RLHF: Towards Equitable Alignment of Large Language Models with
Diverse Human Preferences [101.57443597426374]
Reinforcement Learning from Human Feedback (RLHF) は、言語モデルと人間の嗜好を一致させる。
予測最大化アルゴリズムを用いて嗜好分布の混合を学習し、人間の嗜好をよりよく表現する。
従来のRLHFアルゴリズムよりも16%以上の勝利率向上を実現している。
論文 参考訳(メタデータ) (2024-02-14T03:56:27Z) - Active Preference Learning for Large Language Models [13.211063836237468]
我々は、好みラベルをよりよく活用するために、DPOのアクティブな学習戦略を開発する。
本稿では,言語モデルの予測エントロピーに基づく,プロンプト/コンプリートペアの実用的な獲得関数を提案する。
提案手法は,ペアの選好データに基づく微調整の学習率と最終性能の両方を改善する方法を示す。
論文 参考訳(メタデータ) (2024-02-12T23:09:00Z) - Towards Efficient and Exact Optimization of Language Model Alignment [97.41422112912574]
本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
我々は,EXOがRLアルゴリズムと同じ方向に最適化されることを証明した。
さらに、現実的な人間の嗜好データに対する既存のアプローチよりも、提案手法の利点を実証する。
論文 参考訳(メタデータ) (2024-02-01T18:51:54Z) - Statistical Rejection Sampling Improves Preference Optimization [42.57245965632205]
提案手法は,リジェクションサンプリングを用いた最適ポリシーからのソース選好データに対する新しいアプローチを提案する。
また、嗜好モデルの観点から、SLiC(Sequence Likelihood)とDPO(Direct Preference Optimization)の両方で使用される損失関数を強化する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-13T01:07:25Z) - Optimizer's Information Criterion: Dissecting and Correcting Bias in
Data-Driven Optimization [18.6306170209029]
データ駆動最適化では、得られた決定のサンプル性能は通常、真の性能に対して楽観的なバイアスを生じさせる。
クロスバリデーションのような、このバイアスを修正するための一般的なテクニックは、追加の最適化問題を繰り返し解決する必要があるため、コストがかかる。
我々は一階偏差を直接近似する一般バイアス補正手法を開発し、追加の最適化問題を解く必要はない。
論文 参考訳(メタデータ) (2023-06-16T07:07:58Z) - Fine-Tuning Language Models with Advantage-Induced Policy Alignment [80.96507425217472]
大規模言語モデルと人間の嗜好を整合させる新しいアルゴリズムを提案する。
言語タスクにおいてPPOを常に上回り、大きなマージンを持つことを示す。
また,損失関数の設計を支援する理論的正当性も提供する。
論文 参考訳(メタデータ) (2023-06-04T01:59:40Z) - Visualizing the Relationship Between Encoded Linguistic Information and
Task Performance [53.223789395577796]
本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。
我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。
実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
論文 参考訳(メタデータ) (2022-03-29T19:03:10Z) - Decomposed Adversarial Learned Inference [118.27187231452852]
我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。
DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。
MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
論文 参考訳(メタデータ) (2020-04-21T20:00:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。