論文の概要: Prompt-Tuning Decision Transformer with Preference Ranking

• arxiv url: http://arxiv.org/abs/2305.09648v1
• Date: Tue, 16 May 2023 17:49:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 13:42:48.045758
• Title: Prompt-Tuning Decision Transformer with Preference Ranking
• Title（参考訳）: 選好ランキング付き迅速調整決定変換器
• Authors: Shengchao Hu, Li Shen, Ya Zhang, Dacheng Tao
• Abstract要約: 本稿では,環境情報取得におけるRLエージェントの誘導手法としてトラジェクトリセグメントを用いたPrompt-Tuning DTアルゴリズムを提案する。 提案手法では,ガウス分布をランダムにサンプリングしてプロンプト軌道の要素を微調整し,選好ランク関数を用いて最適化方向を求める。 我々の研究は、RLにおける迅速な調整手法の進歩に寄与し、特定の選好タスクに対して大規模RLエージェントを最適化するための有望な方向性を提供する。
• 参考スコア（独自算出の注目度）: 83.76329715043205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt-tuning has emerged as a promising method for adapting pre-trained models to downstream tasks or aligning with human preferences. Prompt learning is widely used in NLP but has limited applicability to RL due to the complex physical meaning and environment-specific information contained within RL prompts. These factors require supervised learning to imitate the demonstrations and may result in a loss of meaning after learning. Additionally, directly extending prompt-tuning approaches to RL is challenging because RL prompts guide agent behavior based on environmental modeling and analysis, rather than filling in missing information, making it unlikely that adjustments to the prompt format for downstream tasks, as in NLP, can yield significant improvements. In this work, we propose the Prompt-Tuning DT algorithm to address these challenges by using trajectory segments as prompts to guide RL agents in acquiring environmental information and optimizing prompts via black-box tuning to enhance their ability to contain more relevant information, thereby enabling agents to make better decisions. Our approach involves randomly sampling a Gaussian distribution to fine-tune the elements of the prompt trajectory and using preference ranking function to find the optimization direction, thereby providing more informative prompts and guiding the agent towards specific preferences in the target environment. Extensive experiments show that with only 0.03% of the parameters learned, Prompt-Tuning DT achieves comparable or even better performance than full-model fine-tuning in low-data scenarios. Our work contributes to the advancement of prompt-tuning approaches in RL, providing a promising direction for optimizing large RL agents for specific preference tasks.
• Abstract（参考訳）: Prompt-tuningは、トレーニング済みのモデルを下流のタスクに適用したり、人間の好みに合わせるための有望な方法として登場した。 プロンプト学習はNLPで広く用いられているが、複雑な物理的意味とRLプロンプトに含まれる環境固有の情報により、RLに限定的に適用可能である。 これらの要因は、デモを模倣するために教師付き学習を必要とし、学習後に意味を失う可能性がある。 さらに、RLは情報不足を埋めるのではなく、環境モデリングや分析に基づくガイドエージェントの動作を促すため、NLPのように下流タスクのプロンプトフォーマットの調整が大幅に改善される可能性が低いため、RLへのプロンプトチューニングアプローチを直接拡張することは困難である。 そこで本研究では,環境情報取得のためのプロンプトとして軌跡セグメントを用いることで,環境情報獲得におけるrlエージェントのガイドと,より適切な情報を含む能力を高めるためにブラックボックスチューニングによるプロンプトの最適化を行い,エージェントがよりよい判断を行えるようにすることで,これらの課題に対処できるプロンプトチューニングdtアルゴリズムを提案する。 提案手法では,プロンプト軌道の要素を微調整するためにガウス分布をランダムにサンプリングし,最適化方向を求めるために選好ランキング関数を用いることにより,より有益なプロンプトを提供し,対象環境における特定の選好に向けてエージェントを誘導する。 Prompt-Tuning DT は、学習したパラメータの 0.03% しかなく、ローデータシナリオでのフルモデル微調整よりも同等またはそれ以上のパフォーマンスを実現している。 我々の研究は、RLにおける迅速な調整手法の進歩に寄与し、特定の選好タスクに対して大規模RLエージェントを最適化するための有望な方向性を提供する。

関連論文リスト

• GRL-Prompt: Towards Knowledge Graph based Prompt Optimization via Reinforcement Learning [8.307785339429863]
  大規模言語モデル(LLM)の迅速な最適化のための新しいフレームワークを提案する。 GRL-Promptは、強化学習(RL)を通じて、エンドツーエンドで最適なプロンプトを自動構築することを目的としている。 GRL-Promptは最近の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-19T10:52:25Z)
• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning [0.0]
  強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。 本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。 実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-15T13:10:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。