論文の概要: Aligning Large Language Models with Counterfactual DPO
- arxiv url: http://arxiv.org/abs/2401.09566v2
- Date: Fri, 19 Jan 2024 08:57:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 12:14:47.662847
- Title: Aligning Large Language Models with Counterfactual DPO
- Title(参考訳): 対実DPOを用いた大規模言語モデルのアライメント
- Authors: Bradley Butcher
- Abstract要約: 本稿では,人的介入に頼らずにモデルスタイルを整列させる反事実的プロンプトの利用について検討する。
本研究では,この手法が望ましい行動を効果的に抑制し,望ましくない行動を緩和し,不適切な指示を無視するようモデルに促すことを実証する。
- 参考スコア(独自算出の注目度): 1.8130068086063336
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advancements in large language models (LLMs) have demonstrated remarkable
capabilities across a diverse range of applications. These models excel in
generating text completions that are contextually coherent and cover an
extensive array of subjects. However, the vast datasets required for their
training make aligning response styles during the pretraining and instruction
tuning phases challenging. Consequently, an additional alignment phase is
typically employed, wherein the model is further trained with human preference
data to better align its outputs with human expectations. While this process
doesn't introduce new capabilities per se, it does accentuate generation styles
innate to the model. This paper explores the utilization of counterfactual
prompting within the framework of Direct Preference Optimization (DPO) to align
the model's style without relying on human intervention. We demonstrate that
this method effectively instils desirable behaviour, mitigates undesirable
ones, and encourages the model to disregard inappropriate instructions. Our
findings suggest that counterfactual prompting with DPO presents a low-resource
way to fine-tune LLMs to meet the demands for responsible and ethically aligned
AI systems.
- Abstract(参考訳): 大規模言語モデル(LLM)の進歩は、様々なアプリケーションで顕著な機能を示している。
これらのモデルは文脈的に一貫性があり、幅広い主題をカバーするテキスト補完を生成するのに優れている。
しかし、トレーニングに必要な膨大なデータセットは、事前トレーニングと指導のチューニングフェーズにおける応答スタイルの整合を困難にしている。
その結果、通常、追加のアライメントフェーズが採用され、モデルはさらに人間の嗜好データで訓練され、その出力と人間の期待をより良く調整される。
このプロセスは、本質的に新しい機能を導入していないが、モデルに固有の生成スタイルをアクセント化する。
本稿では,人間の介入に頼らずにモデルスタイルを整合させるために,直接選好最適化(DPO)フレームワーク内での対実的プロンプトの利用について検討する。
本手法は,望ましい動作を効果的に排除し,望ましくない動作を緩和し,不適切な指示を無視するようモデルに促すことを実証する。
我々の知見は、DPOによる反実的プロンプトは、責任的かつ倫理的に整合したAIシステムに対する要求を満たすために、LLMを微調整する低リソースな方法を示すことを示唆している。
関連論文リスト
- Active Preference Learning for Large Language Models [13.211063836237468]
我々は、好みラベルをよりよく活用するために、DPOのアクティブな学習戦略を開発する。
本稿では,言語モデルの予測エントロピーに基づく,プロンプト/コンプリートペアの実用的な獲得関数を提案する。
提案手法は,ペアの選好データに基づく微調整の学習率と最終性能の両方を改善する方法を示す。
論文 参考訳(メタデータ) (2024-02-12T23:09:00Z) - Entropy-Regularized Token-Level Policy Optimization for Large Language
Models [76.02428537504323]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
その結果,ETPO は CodeLlama-7B モデルで有効な性能向上を実現し,RLHF から受け継いだ変種 PPO ベースラインを超越していることがわかった。
論文 参考訳(メタデータ) (2024-02-09T07:45:26Z) - Linear Alignment: A Closed-form Solution for Aligning Human Preferences
without Tuning and Feedback [72.21755067005049]
リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。
一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
論文 参考訳(メタデータ) (2024-01-21T10:46:23Z) - RecExplainer: Aligning Large Language Models for Recommendation Model
Interpretability [53.76682562935373]
本稿では,大規模言語モデルを代理モデルとして用いて,推薦システムに対する新しいモデル解釈手法を提案する。
具体的には,行動アライメント,意図アライメント,ハイブリッドアライメントという3つのアライメント手法を導入する。
提案手法により,LLMはレコメンデーションモデルのパターンを理解し,信頼性の高いレコメンデーション説明を生成することができる。
論文 参考訳(メタデータ) (2023-11-18T03:05:43Z) - Aligning Language Models with Offline Learning from Human Feedback [5.539080592071948]
環境と対話することなく言語モデルを調整するために,人間のフィードバックフレームワークからオフラインで学習する手法を提案する。
具体的には、フィルタリングアライメント(FA)、報酬重み付けレグレッション(RWR)、条件付きアライメント(CA)について検討し、言語モデルを人間の好みに合わせる。
論文 参考訳(メタデータ) (2023-08-23T10:41:07Z) - POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained
models [62.23255433487586]
モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。
本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
論文 参考訳(メタデータ) (2023-04-29T22:05:22Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - Semi-supervised Formality Style Transfer using Language Model
Discriminator and Mutual Information Maximization [52.867459839641526]
フォーマル・スタイル・トランスファー(英: Formality style transfer)とは、非公式な文を文法的に正しい形式文に変換するタスクである。
本稿では,言語モデルに基づく識別器を用いて,文が形式的である確率を最大化する半教師付き形式表現スタイル転送モデルを提案する。
実験の結果,我々のモデルは,自動計測と人的判断の両面で,従来の最先端のベースラインを著しく上回りました。
論文 参考訳(メタデータ) (2020-10-10T21:05:56Z) - StyleDGPT: Stylized Response Generation with Pre-trained Language Models [39.526613595499356]
KL損失とスタイル分類器を導入し、単語レベルと文レベルの両方において、ターゲットスタイルに対して応答生成を操る。
我々のモデルは、スタイル整合性とコンテキスト整合性の両方の観点から、最先端の手法を著しく上回ります。
論文 参考訳(メタデータ) (2020-10-06T09:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。