論文の概要: RLPE: Teaching LLMs to Prompt with Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.19062v1
• Date: Tue, 13 Oct 2026 18:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.764873
• Title: RLPE: Teaching LLMs to Prompt with Reinforcement Learning
• Title（参考訳）: RLPE:強化学習を駆使したLLM教育
• Abstract要約: Reinforcement Learned Prompt Engineering (RLPE)は、モデルをトレーニングして、別のタスクモデルのトレースを分析し、観察する障害をターゲットとしたプロンプトを書く。 RLPEは、トレーニングされたモデルを厳格に評価し、タスクモデルを改善するためのプロンプト戦略を学ぶ。 我々は、RLPEをエニグマタ、BIG-Bench Extra Hard、PlanBenchに適用する。
• 参考スコア（独自算出の注目度）: 3.0433921527861565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompting is a widely used method for adapting general-purpose LLMs to domain-specific tasks. Effective prompts can be tedious to create manually, so prompt writing is increasingly handed to LLMs, with recent work training LLMs to write prompts for other models. These techniques either write prompts without observing how the task model behaves, blind to the failure modes the prompt should address, or must run alongside the task LLM at inference time, adding overhead to every query. Neither reflects how prompt engineering is often practiced. To close this gap, we introduce Reinforcement Learned Prompt Engineering (RLPE), which trains a model to analyze traces of a separate task model and write a prompt targeting the failures it observes. RLPE rewards the trained model strictly on prompt performance, so it learns the prompting strategies that improve the task model. The prompt is generated once and reused across the task, so inference does not require the trained model. Since RLPE needs only query access to the model it prompts, it is also compatible with closed-source models. We apply RLPE to Enigmata, BIG-Bench Extra Hard, and PlanBench. We train a 9B-parameter model that writes better prompts than state-of-the-art frontier models (gpt-5.6-sol and claude-opus-5) and prompt optimizers (GEPA and TextGrad) on 2/3 benchmarks. Although the model is never explicitly trained to iterate on prompts, this capability emerges at a level that matches or beats frontier models. The learned prompting capability also generalizes, with the trained model improving task models 6x larger than the one it trained with, including ones from entirely different model families, and matching claude-opus-5 on a fourth benchmark held out from training.
• Abstract（参考訳）: プロンプティング(英: Prompting)は、汎用LLMをドメイン固有のタスクに適応するための広く用いられる手法である。 効果的なプロンプトは手作業で作るのが面倒なため、プロンプトはLSMに渡され、最近のワークトレーニングでは、他のモデルのプロンプトを書くためにLSMに渡される。 これらのテクニックは、タスクモデルがどのように振る舞うかを観察せずにプロンプトを書くか、プロンプトが対処すべき障害モードを無視するか、または推論時にタスクLLMと一緒に実行し、全てのクエリにオーバーヘッドを追加する必要がある。 どちらも、迅速なエンジニアリングの実践を反映していない。 このギャップを埋めるために、Reinforcement Learned Prompt Engineering (RLPE)を紹介します。 RLPEは、トレーニングされたモデルを厳格に評価し、タスクモデルを改善するためのプロンプト戦略を学ぶ。 プロンプトは一度生成され、タスク全体で再利用されるため、推論はトレーニングされたモデルを必要としない。 RLPEはプロンプトするモデルへのクエリのみを必要とするため、クローズドソースモデルとも互換性がある。 我々は、RLPEをエニグマタ、BIG-Bench Extra Hard、PlanBenchに適用する。 我々は、最先端フロンティアモデル(gpt-5.6-solとclaude-opus-5)よりも優れたプロンプトを記述した9Bパラメータモデルをトレーニングし、2/3ベンチマークで最適化器(GEPAとTextGrad)をプロンプトする。 モデルがプロンプトを反復するように明示的に訓練されることは決してないが、この機能はフロンティアモデルにマッチしたり、打ち負かすようなレベルで現れる。 学習プロンプト機能も一般化され、トレーニングされたモデルの改善タスクモデルは、完全に異なるモデルファミリーのモデルを含むトレーニングされたモデルよりも6倍大きくなり、トレーニングから持ち出された4番目のベンチマークでクロードオプス5にマッチする。

関連論文リスト

• TAPR: Enhancing LLM Performance with a Task-Aware Prompt Rewriter [1.6003479913250962]
  大きな言語モデル(LLM)は、しばしばその潜在能力を最大限に解き放つために慎重に設計されたプロンプトを必要とする。 この作業は、ユーザプロンプトをタスク最適化プロンプトに再構成するモデルである、タスク対応プロンプトリライター(TAPR)の導入による課題に対処する。
  論文  参考訳（メタデータ） (2026-07-17T15:37:07Z)
• PromptBridge: Cross-Model Prompt Transfer for Large Language Models [28.175276092083735]
  大規模言語モデル(LLM)は、コード生成、数学的推論、エージェントベースの推論における応用の基盤となっている。 あるモデルのために設計されたプロンプトを別のモデルで再利用すると、ターゲットモデルに最適化されたプロンプトよりも大幅にパフォーマンスが低下する。 PromptBridgeはトレーニング不要のフレームワークで、モデルスイッチ下での迅速な有効性を維持する。
  論文  参考訳（メタデータ） (2025-12-01T08:55:45Z)
• Are Prompts All You Need? Evaluating Prompt-Based Large Language Models (LLM)s for Software Requirements Classification [1.1458853556386799]
  本研究は,プロンプトベースの大規模言語モデルがデータニーズを低減できるかどうかを検証する。 PMISEとSecReqという2つの英語データセット上で、複数のタスクにまたがる複数のモデルとスタイルをベンチマークする。
  論文  参考訳（メタデータ） (2025-09-17T09:58:26Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• Prompt2Model: Generating Deployable Models from Natural Language Instructions [74.19816829003729]
  大規模言語モデル(LLM)により、システムビルダーはプロンプトによって有能なNLPシステムを作成することができる。 言い換えれば、LSMは従来の特殊目的のNLPモデルとは逆のステップである。 本稿では,LLMに提供されるプロンプトのように自然言語によるタスク記述を行う汎用手法であるPrompt2Modelを提案する。
  論文  参考訳（メタデータ） (2023-08-23T17:28:21Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Ask Me Anything: A simple strategy for prompting language models [24.294416731247427]
  大規模言語モデル(LLM)は、単に自然言語のプロンプトを与えられただけである。 そこで本研究では,質問応答(QA)のプロンプトが,モデル出力を制限するプロンプトよりも優れていることを示す。 収集したプロンプトを適用して、入力の真のラベルに対していくつかのノイズの多い投票を行う。 プロンプトは、非常に異なる精度と複雑な依存関係を持つことができる。
  論文  参考訳（メタデータ） (2022-10-05T17:59:45Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。