Fugu-MT 論文翻訳(概要): Prompt-Driven Exploration

論文の概要: Prompt-Driven Exploration

arxiv url: http://arxiv.org/abs/2607.08837v1
Date: Thu, 09 Jul 2026 18:00:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-13 14:47:12.72197
Title: Prompt-Driven Exploration
Title（参考訳）: プロンプト駆動探査
Abstract要約: 弱い政策を逃れるには、アクションノイズが生み出すことができない大域的な摂動が必要となることが多い。私たちはこの戦略をPDE(Prompt-Driven Exploration)と呼んでいる。操作と推論のタスク全体にわたって、PDEは、ゼロリワードスタートからでも、RLが成功したポリシーを学習できるようにする。
参考スコア（独自算出の注目度）: 22.93813166801767
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Exploration is essential to RL since a policy cannot improve by repeatedly sampling the behaviors it already prefers. Standard methods inject stochasticity in the action space, but such jitter only yields rollouts close to the original. Escaping a weak policy often requires global perturbations that action noise cannot produce. Large language models (LLMs) and vision-language-action (VLA) models offer a pathway: they condition the policy on a natural language prompt, and since the rollout follows from it, modifying the prompt induces global changes. The challenge is finding prompts that induce useful global changes. With a weak policy that rarely succeeds, reward is too sparse to select on. Our idea is to refine prompts from the rollouts themselves: a vision-language model (VLM) reasons over the rollout video, diagnoses how the policy responded, and rewrites the prompt to elicit better behavior next time. This procedure realizes posterior sampling, a classical RL exploration framework, at the level of prompts: the VLM maintains an implicit distribution over useful prompts and updates it from observed rollouts. We call this strategy Prompt-Driven Exploration (PDE). Across manipulation and reasoning tasks, PDE enables RL to learn successful policies even from zero-reward starts, and improves sample efficiency more broadly. Our website is available at https://xinyunsunshine.github.io/prompt-rl.
Abstract（参考訳）: 政策は、すでに好んでいる行動を繰り返しサンプリングすることで改善できないため、RLにとって探索は不可欠である。標準法では、アクション空間において確率性を注入するが、そのようなジッタは元に近いロールアウトしか生じない。弱い政策を逃れるには、アクションノイズが生み出すことができない大域的な摂動が必要となることが多い。大きな言語モデル(LLM)と視覚言語アクション(VLA)モデルは、自然言語のプロンプトにポリシーを条件付けし、ロールアウトが続くので、プロンプトを変更することでグローバルな変化が引き起こされる。課題は、有用なグローバルな変化を引き起こすプロンプトを見つけることだ。めったに成功しない弱い方針では、報酬は小さすぎて選択できない。私たちのアイデアは、ロールアウト自体からプロンプトを洗練させることです。ロールアウトビデオに対するビジョン言語モデル(VLM)の理由から、ポリシーがどのように反応したかを診断し、次により良い行動を起こそうとするプロンプトを書き換えることです。この手順は、古典的なRL探索フレームワークである後方サンプリングをプロンプトのレベルで実現している: VLMは有用なプロンプトよりも暗黙の分布を維持し、観察されたロールアウトから更新する。私たちはこの戦略をPDE(Prompt-Driven Exploration)と呼んでいる。操作および推論タスク全体にわたって、PDEは、ゼロリワード開始からでもRLが成功したポリシーを学習できるようにし、サンプル効率をより広範囲に改善する。私たちのウェブサイトはhttps://xinyunsunshine.github.io/prompt-rl.comで閲覧できます。

関連論文リスト

Trajectory-Level Redirection Attacks on Vision-Language-Action Models [8.83087913765963]
視覚言語アクション(VLA)ポリシーは、自然言語をクローズドループロボット制御にもたらすことで、ロボットはテキスト命令から直接操作タスクを実行することができる。本研究は,低レベルなアクションを対象とする場合や,変化するイメージをまたいだアクションを継続させる場合の逆方向のプロンプトについて検討する。実験により、ほぼ良性な急激な摂動がVLAロールアウトを攻撃者が特定したターゲットにリダイレクトできることが示されている。
論文参考訳（メタデータ） (2026-06-11T07:12:17Z)
GFlowPO: Generative Flow Network as a Language Model Prompt Optimizer [51.31263673158136]
GFlowPOは、メタプロンプト参照-LMにより正規化される潜在プロンプトに対する後部推論問題としてプロンプトをキャストする。 GFlowPOは、最近の離散的なプロンプト最適化ベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2026-02-03T10:30:03Z)
StablePrompt: Automatic Prompt Tuning using Reinforcement Learning for Large Language Models [21.556184207901115]
強化学習(Reinforcement Learning, RL)は, 即時チューニングに広く用いられているが, その固有の不安定性と環境依存性は, 実際にの使用を困難にしている。トレーニング安定性と探索空間のバランスを保ち、RLの不安定性を軽減し、高性能なプロンプトを生成するStablePromptを提案する。
論文参考訳（メタデータ） (2024-10-10T06:35:51Z)
Prompt Exploration with Prompt Regression [38.847668543140315]
本稿では,プロンプト回帰を用いたプロンプト探索(Pmpt Exploration with Prompt Regression,PEPR)を提案する。我々は,複数の異なるタスクに対して,異なるサイズのオープンソースLLMを用いてアプローチを評価した。
論文参考訳（メタデータ） (2024-05-17T20:30:49Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
Evoke: Evoking Critical Thinking Abilities in LLMs via Reviewer-Author Prompt Editing [19.241543540941283]
大規模言語モデル(LLM)は、自然言語処理において顕著な進歩を遂げた。本稿では,自動プロンプトリファインメントフレームワークであるEvokeを提案する。一つはレビュアーとして、もう一つは現在のプロンプトをスコアし、もう一つは著者として、編集履歴とレビュアーのフィードバックを考慮してプロンプトを編集する。
論文参考訳（メタデータ） (2023-10-20T23:15:59Z)
FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation [92.43001160060376]
本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
論文参考訳（メタデータ） (2023-10-05T00:04:12Z)
Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文参考訳（メタデータ） (2023-02-22T17:44:15Z)
RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2022-05-25T07:50:31Z)
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning [95.60782037764928]
過大評価バイアスが制御される限り、単純な決定論的政策勾配は著しく機能することを示す。第二に、非政治的なアルゴリズムの典型であるトレーニングの不安定性を、欲張りのポリシー更新ステップに向ける。第3に、確率推定文学におけるアイデアは、リプレイバッファからの重要サンプル遷移や、性能劣化を防ぐためのポリシー更新に利用できることを示す。
論文参考訳（メタデータ） (2020-06-26T20:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。