論文の概要: Preference-Guided Reflective Sampling for Aligning Language Models
- arxiv url: http://arxiv.org/abs/2408.12163v2
- Date: Fri, 04 Oct 2024 11:40:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 18:20:00.667068
- Title: Preference-Guided Reflective Sampling for Aligning Language Models
- Title(参考訳): 適応言語モデルに対する優先誘導反射サンプリング
- Authors: Hai Ye, Hwee Tou Ng,
- Abstract要約: 反復データ生成とモデル再訓練は、大きな言語モデル(LLM)を人間の好みに効果的に合わせることができる。
本研究では,PRS(Preference-Guided Reflective Smpling)を提案する。
ランダムサンプリングとは異なり、PSSはより効率的なサンプリングを可能にするためにツリーベースの生成フレームワークを使用している。
PRSは、反復的なオフラインRLトレーニングに適用した場合、高いパフォーマンスを示す。
- 参考スコア(独自算出の注目度): 27.69410513313001
- License:
- Abstract: Iterative data generation and model re-training can effectively align large language models(LLMs) to human preferences. The process of data sampling is crucial, as it significantly influences the success of policy improvement. Repeated random sampling is a widely used method that independently queries the model multiple times to generate outputs. In this work, we propose a more effective sampling method, named Preference-Guided Reflective Sampling (PRS). Unlike random sampling, PRS employs a tree-based generation framework to enable more efficient sampling. It leverages adaptive self-refinement techniques to better explore the sampling space. By specifying user preferences in natural language, PRS can further optimize response generation according to these preferences. As a result, PRS can align models to diverse user preferences. Our experiments demonstrate that PRS generates higher-quality responses with significantly higher rewards. On AlpacaEval and Arena-Hard, PRS substantially outperforms repeated random sampling in best-of-$N$ sampling. Moreover, PRS shows strong performance when applied in iterative offline RL training.
- Abstract(参考訳): 反復データ生成とモデル再訓練は、大きな言語モデル(LLM)を人間の好みに効果的に合わせることができる。
データサンプリングのプロセスは、政策改善の成功に大きな影響を与えるため、非常に重要である。
繰り返しランダムサンプリングは、独立してモデルを複数回クエリして出力を生成するために広く使われている手法である。
本研究では,より効果的なサンプリング手法であるPreference-Guided Reflective Smpling(PRS)を提案する。
ランダムサンプリングとは異なり、PSSはより効率的なサンプリングを可能にするためにツリーベースの生成フレームワークを使用している。
適応的な自己精製技術を活用してサンプリング空間をよりよく探索する。
自然言語でユーザの好みを指定することで、PSSはこれらの好みに応じて応答生成をさらに最適化することができる。
その結果、PSSはモデルを多様なユーザの好みに合わせることができる。
実験の結果,PSSは高い報酬率で高品質な応答を生成できることがわかった。
AlpacaEval と Arena-Hard では、PSS は N$ のサンプリングで繰り返しランダムサンプリングを著しく上回っている。
さらに、PSSは、反復的なオフラインRLトレーニングに適用した場合、高い性能を示す。
関連論文リスト
- OPTune: Efficient Online Preference Tuning [107.44836901099]
オンライン嗜好調整(OPTune)のためのより効率的なデータ探索手法を提案する。
OPTuneは、オン・プライオリティアライメントのための情報応答を動的にサンプリングする。
評価では, 効率的なデータ探索戦略により, OPTune の LLM は 1.27-1.56 倍高速なトレーニング速度を達成している。
論文 参考訳(メタデータ) (2024-06-11T18:55:04Z) - Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。
私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。
本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
論文 参考訳(メタデータ) (2024-06-06T18:01:02Z) - Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。
現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。
トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
論文 参考訳(メタデータ) (2024-06-04T20:21:45Z) - Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [90.4820014819937]
本稿では,分布域外領域を積極的に探索するために,潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観的手法を提案する。
実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整すると,SELMは命令追従ベンチマークの性能を大幅に向上することがわかった。
論文 参考訳(メタデータ) (2024-05-29T17:59:07Z) - Filtered Direct Preference Optimization [7.060398061192042]
人間からのフィードバックからの強化学習(RLHF)は、言語モデルと人間の嗜好の整合において重要な役割を果たす。
本稿では、直接選好最適化(DPO)に着目して、選好データセットにおけるテキスト品質の問題に対処する。
フィルタされた直接選好最適化(fDPO)と呼ばれるDPOの拡張を提案する。
論文 参考訳(メタデータ) (2024-04-22T03:05:19Z) - Fine-Tuning Language Models with Reward Learning on Policy [68.70065254564642]
人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)を人間の好みに合わせる効果的なアプローチとして現れている。
その人気にもかかわらず、(固定された)報酬モデルが不正確な流通に悩まされることがある。
本稿では、政策サンプルを用いて報酬モデルを洗練し、流通を継続する、教師なしのフレームワークであるポリシーに関する報酬学習(RLP)を提案する。
論文 参考訳(メタデータ) (2024-03-28T10:02:10Z) - Reinforced Self-Training (ReST) for Language Modeling [56.75447441157628]
人間からのフィードバック(RLHF)からの強化学習は、人間の好みに合わせることで、大きな言語モデル(LLM)の出力の品質を向上させることができる。
強化自己学習(Reinforced Self-Training, ReST)と呼ばれる, バッチ強化学習(RL)の成長にインスパイアされたLLMを人間の好みに合わせるための簡単なアルゴリズムを提案する。
この結果から,ReSTは自動測定値と機械翻訳ベンチマークの人的評価によって,計算とサンプル効率で翻訳品質を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2023-08-17T14:12:48Z) - Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。
DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。
我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-29T17:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。