論文の概要: Prompting Policies for Multi-step Reasoning and Tool-Use in Black-box LLMs with Iterative Distillation of Experience

• arxiv url: http://arxiv.org/abs/2605.14443v1
• Date: Thu, 14 May 2026 06:38:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.666058
• Title: Prompting Policies for Multi-step Reasoning and Tool-Use in Black-box LLMs with Iterative Distillation of Experience
• Title（参考訳）: 繰り返し蒸留を施したブラックボックスLCMにおけるマルチステップ推論とツール利用の促進策
• Authors: Krishna Sayana, Ketan Todi, Ambarish Jash,
• Abstract要約: 本稿では,経験の反復蒸留による学習指導の枠組みを提案する。 軽量プロンプトモデルは、大規模で凍結された作業者のためのタスク固有の報酬を最大化するために最適化されている。 論理集約推論では55%から90%,ツール使用タスクでは74%から91%に向上した。
• 参考スコア（独自算出の注目度）: 0.6047855579999899
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The shift toward interacting with frozen, "black-box" Large Language Models (LLMs) has transformed prompt engineering from a heuristic exercise into a critical optimization challenge. We propose a Reinforcement Learning (RL) framework for training learned prompting policies via iterative distillation of experience. In this architecture, a lightweight prompter model is optimized to maximize task-specific rewards for a larger, frozen worker LLM. By utilizing a contrastive experience buffer that couples scalar rewards with dense textual critiques, our approach effectively amortizes iterative prompt refinement into single-shot policy weights. Our experimental analysis focuses on the Big Bench Extra Hard (BBEH) and Tau-bench suites, covering a diverse range of multi-step reasoning and tool-use tasks. We demonstrate significant gains, improving performance from 55% to 90% in logic-intensive reasoning and 74% to 91% in tool-use tasks. Furthermore, we analyze the structural evolution of prompts, demonstrating how the policy discovers specialized algorithmic heuristics. We provide comprehensive comparisons against state-of-the-art evolutionary baselines like GEPA, showing that iterative distillation achieves superior performance with higher sample efficiency.
• Abstract（参考訳）: 凍結した"ブラックボックス"な大規模言語モデル(LLM)とのインタラクションへのシフトは、ヒューリスティックなエクササイズから重要な最適化課題へと、迅速なエンジニアリングを転換した。 本稿では,経験の反復蒸留による政策推進のための強化学習(Reinforcement Learning, RL)フレームワークを提案する。 このアーキテクチャでは、軽量プロンプトモデルを最適化し、より大きな冷凍作業者LLMに対するタスク固有の報酬を最大化する。 本手法は,スカラー報酬を高密度テキスト批判と組み合わせたコントラッシブ・エクスペリエンス・バッファを用いて,反復的即時改質を単一ショットのポリシー重みに効果的に改善する。 実験分析では,Big Bench Extra Hard (BBEH) と Tau-bench スイートに着目し,多段階推論とツール利用タスクの多種多様さについて検討した。 その結果,論理集約推論では55%から90%,ツール使用タスクでは74%から91%に向上した。 さらに,プロンプトの構造的進化を解析し,アルゴリズムのアルゴリズム的ヒューリスティックスをいかに発見するかを示す。 GEPAのような最先端の進化的ベースラインと比較して総合的に比較し, 反復蒸留は高い試料効率で優れた性能を発揮することを示した。

関連論文リスト

• Retrieval-Augmented LLM Agents: Learning to Learn from Experience [16.248836438253814]
  本研究では,検索対象のLLMエージェントを学習し,検索したトラジェクトリをコンテキスト内で活用する方法について検討する。 最先端のエージェントトレーニングパイプラインよりも優れたロラを用いた,堅牢な教師付き微調整(SFT)レシピを確立した。 その結果,この組み合わせによるタスクの一般化が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2026-03-18T20:45:04Z)
• MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization [103.74675519953898]
  ロングチェーンのリフレクティブ推論は、複雑な現実世界の問題を解決するための前提条件である。 我々は42の難解な合成タスクの1,260のサンプルからなるベンチマークを構築した。 トレーニング後のデータを生成し、そのようなデータを活用するための学習パラダイムを探索する。
  論文  参考訳（メタデータ） (2025-10-09T17:53:58Z)
• Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training [121.5858973157225]
  本研究では,長期強化学習が多種多様な推論領域にまたがる小言語モデルに及ぼす影響について検討する。 我々は,長期的パフォーマンス向上の鍵となる重要な要素として,制御KL正規化,クリッピング率,定期参照ポリシーリセットを導入する。 私たちのモデルは、数学の+14.7%、コーディングの+13.9%、論理パズルの+54.8%など、強力なベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-07-16T17:59:24Z)
• Reasoning BO: Enhancing Bayesian Optimization with Long-Context Reasoning Power of LLMs [14.58429044330196]
  本稿では、推論モデルを利用してBOのサンプリングプロセスを導出する新しいフレームワークであるReasoning BOを設計する。 推論BO(Reasoning BO)は、実証可能な科学的理論に基づく批判的な洞察とともに、リアルタイムサンプリングレコメンデーションを提供する。 合成数学関数と複素実世界の応用を含む10の多種多様なタスクにまたがるアプローチを評価する。
  論文  参考訳（メタデータ） (2025-05-19T08:20:40Z)
• LLMQuoter: Enhancing RAG Capabilities Through Efficient Quote Extraction From Large Contexts [2.685668802278156]
  LLMQuoterは、レトリーバル拡張生成(RAG)を強化するために設計された軽量蒸留モデルである。 LLaMA-3Bアーキテクチャをベースとして、HotpotQAの15,000サンプルのサブセット上にLoRA(Lo-Rank Adaptation)を微調整し、LLMQuoterは"quote-first-then-answer"戦略を採用し、キュレートされたスニペットを推論モデルに渡す前に重要な引用を効率的に識別する。 このワークフローは認知的オーバーヘッドを減らし、Retrieval-Augmented Fine-Tuning (RAFT)のようなフルコンテキストアプローチを上回り、小言語と大言語の両方で20ポイント以上の精度向上を達成する。
  論文  参考訳（メタデータ） (2025-01-09T20:01:15Z)
• CoPS: Empowering LLM Agents with Provable Cross-Task Experience Sharing [70.25689961697523]
  クロスタスク体験の共有と選択によるシーケンシャル推論を強化する一般化可能なアルゴリズムを提案する。 我々の研究は、既存のシーケンシャルな推論パラダイムのギャップを埋め、タスク間体験の活用の有効性を検証する。
  論文  参考訳（メタデータ） (2024-10-22T03:59:53Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。