論文の概要: Would I Lie To You? Inference Time Alignment of Language Models using Direct Preference Heads

• arxiv url: http://arxiv.org/abs/2405.20053v1
• Date: Thu, 30 May 2024 13:38:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 14:18:37.734282
• Title: Would I Lie To You? Inference Time Alignment of Language Models using Direct Preference Heads
• Title（参考訳）: 嘘をつくか? 直接選好ヘッドを用いた言語モデルの推論時間アライメント
• Authors: Avelina Asada Hadji-Kyriacou, Ognjen Arandjelovic,
• Abstract要約: 言語モデリングヘッドの出力分布に直接影響を及ぼすことなく、補助的な報酬ヘッドを通して人間の嗜好信号を学習できる微調整フレームワークであるDirect Preference Heads (DPH)を導入する。 GLUE, RACE, および GPT4All 評価スイート上で本モデルを評価し, スーパービジョンファインチューニング (SFT) やダイレクトパラメータ最適化 (DPO) のみを用いたモデルよりも高いスコアが得られることを示す。
• 参考スコア（独自算出の注目度）: 11.254305578659002
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained Language Models (LMs) exhibit strong zero-shot and in-context learning capabilities; however, their behaviors are often difficult to control. By utilizing Reinforcement Learning from Human Feedback (RLHF), it is possible to fine-tune unsupervised LMs to follow instructions and produce outputs that reflect human preferences. Despite its benefits, RLHF has been shown to potentially harm a language model's reasoning capabilities and introduce artifacts such as hallucinations where the model may fabricate facts. To address this issue we introduce Direct Preference Heads (DPH), a fine-tuning framework that enables LMs to learn human preference signals through an auxiliary reward head without directly affecting the output distribution of the language modeling head. We perform a theoretical analysis of our objective function and find strong ties to Conservative Direct Preference Optimization (cDPO). Finally we evaluate our models on GLUE, RACE, and the GPT4All evaluation suite and demonstrate that our method produces models which achieve higher scores than those fine-tuned with Supervised Fine-Tuning (SFT) or Direct Preference Optimization (DPO) alone.
• Abstract（参考訳）: 事前訓練された言語モデル(LM)は、強いゼロショットと文脈内学習能力を示すが、それらの振る舞いは制御が難しいことが多い。 Reinforcement Learning from Human Feedback (RLHF)を利用することで、教師なしのLMを微調整して指示に従い、人間の好みを反映した出力を生成することができる。 その利点にもかかわらず、RLHFは言語モデルの推論能力を傷つける可能性があり、モデルが事実を生成できる幻覚のようなアーティファクトを導入することが示されている。 この問題に対処するために、言語モデリングヘッドの出力分布に直接影響を与えずに、LMが補助報酬ヘッドを介して人間の嗜好信号を学習できる微調整フレームワークであるDirect Preference Heads (DPH)を紹介した。 目的関数の理論的解析を行い、保守的直接選好最適化(cDPO)との強い結びつきを見出す。 最後に, GLUE, RACE, そして GPT4All 評価スイート上で評価を行い, スーパービジョンファインチューニング (SFT) や直接優先度最適化 (DPO) のみを用いたモデルよりも高いスコアが得られることを示す。

関連論文リスト

• Self-Training with Direct Preference Optimization Improves Chain-of-Thought Reasoning [5.487210426671288]
  本研究では,小規模LMの推論能力が自己学習によって向上できることを実証する。 また、従来の自己学習は、直接選好最適化(Direct Preference Optimization)と呼ばれる選好学習アルゴリズムによってさらに強化できることを示す。
  論文  参考訳（メタデータ） (2024-07-25T17:59:16Z)
• Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
  事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。 現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。 トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T20:21:45Z)
• Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF [82.7679132059169]
  人間のフィードバックから強化学習が言語モデルのアライメントのための中心的なツールとして登場した。 我々は、RLHFにおけるオンライン探索のための新しいアルゴリズム、Exploratory Preference Optimization (XPO)を提案する。 XPOは証明可能な最強の保証と有望な経験的パフォーマンスを享受しています。
  論文  参考訳（メタデータ） (2024-05-31T17:39:06Z)
• Preference Learning Algorithms Do Not Learn Preference Rankings [62.335733662381884]
  選好学習は、好ましくない出力よりも、好ましくない出力により高い確率を割り当てるようにモデルを訓練する、という従来の知恵を考察する。 多くの最先端の選好調整モデルでは、一般的な選好データセットでは60%未満のランキング精度が得られている。
  論文  参考訳（メタデータ） (2024-05-29T21:29:44Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Weak-to-Strong Extrapolation Expedites Alignment [135.12769233630362]
  モデルと人間の嗜好との整合性を高めるために,ExPOと呼ばれる手法を提案する。 ExPOは市販のDPO/RLHFモデルを一貫して改善することを示した。 我々は、アライメントトレーニング中に学んだ報酬信号を増幅するExPOの本質に光を当てた。
  論文  参考訳（メタデータ） (2024-04-25T17:39:50Z)
• Active Preference Learning for Large Language Models [12.093302163058436]
  我々は、好みラベルをよりよく活用するために、DPOのアクティブな学習戦略を開発する。 本稿では,言語モデルの予測エントロピーに基づく,プロンプト/コンプリートペアの実用的な獲得関数を提案する。 提案手法は,ペアの選好データに基づく微調整の学習率と最終性能の両方を改善する方法を示す。
  論文  参考訳（メタデータ） (2024-02-12T23:09:00Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。