論文の概要: Not All Prompts Are Equal: Exploration-Guided Prompt Scaffolding for Multimodal Reinforcement Post-Training

• arxiv url: http://arxiv.org/abs/2609.15051v1
• Date: Mon, 14 Sep 2026 05:12:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.083506
• Title: Not All Prompts Are Equal: Exploration-Guided Prompt Scaffolding for Multimodal Reinforcement Post-Training
• Title（参考訳）: プロンプトがすべて同じとは限らない - マルチモーダル強化後トレーニングのための探索誘導型プロンプットスキャフォールディング
• Abstract要約: オンライン強化学習(RL)のトレーニングプロンプトは,現行の方針にどのような影響を及ぼすかという点で大きく異なる。 マルチモーダル大言語モデル(MLLM)の学習後,RLを通して動的にトレーニングプロンプト分布を適応する探索誘導型プロンプト足場構築フレームワークを提案する。 教師モデルを用いて、元のタスク意図を保存しつつ、その後のトレーニングをより有益なものにする、足場付き書き直しを生成する。
• 参考スコア（独自算出の注目度）: 15.647521419163985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training prompts in online reinforcement learning (RL) differ substantially in how informative they are for the current policy: some are already saturated while others are too difficult to yield reliable learning signals, yet both receive equal rollout budget under standard training. We propose an exploration-guided prompt scaffolding framework that adapts the training prompt distribution dynamically throughout RL post-training of multimodal large language models (MLLMs). Central to our approach is the $\textit{Exploration Potential Score} (EPS)$, a lightweight rollout-based proxy for prompt utility derived from KL-regularized policy improvement theory, computable directly from on-policy rollout statistics without additional overhead. Rather than discarding low-utility prompts, we use a teacher model to generate scaffolded rewrites that preserve the original task intent while making subsequent training more informative, reframing teacher supervision as training-data refinement rather than output imitation. Integrated with GRPO on Geo3K and MMK12, our method consistently outperforms the baseline on both in-domain and out-of-distribution benchmarks, achieving up to 9.7\% relative improvement in-domain and gains of 11.5\% on MathVision and 11.1\% on MMMU-Pro.
• Abstract（参考訳）: オンライン強化学習(RL)のトレーニングプロンプトは、現在の方針がいかに情報的かという点で大きく異なり、すでに飽和しているものもあれば、信頼できる学習信号を得るのが難しいものもある。 本稿では,マルチモーダル大言語モデル (MLLM) の学習後,RL 全体を通して動的にトレーニングプロンプト分布を適応する探索誘導型プロンプトスキャフォールディングフレームワークを提案する。 当社のアプローチの中心にあるのは、KL正規化政策改善理論から派生したプロンプトユーティリティのための軽量なロールアウトベースのプロキシである$\textit{Exploration potential Score} (EPS)$であり、追加のオーバーヘッドなく、オンラインロールアウト統計から直接計算できる。 低ユーティリティなプロンプトを捨てるのではなく、教師モデルを用いて、元のタスク意図を保存した足場付き書き直しを生成すると同時に、その後のトレーニングをより情報的にし、教師の指導を、出力模倣ではなく、トレーニングデータ洗練とみなす。 Geo3K と MMK12 のGRPO と統合して,本手法はドメイン内および配布外ベンチマークのベースラインを常に上回り,ドメイン内の相対的な改善が 9.7 %,MathVision では 11.5 %,MMMU-Pro では 11.1 % となる。

関連論文リスト

• LLMs Are Already Good Tutors: Training-Free Prompt Optimization for Pedagogical Math Tutoring [1.4976621159818981]
  本稿では,API呼び出しによるシステムプロンプトのみのトレーニングフリーなプロンプト最適化が,実用的な代替手段であるかどうかを検討する。 提案手法は,OODベンチマークスイートを5条件で評価し,7つの方法に適応し,5つの教育特化手法を提案する。 82符号の教育コードブックを用いた行動分析により,RL学習モデルの2～3倍の学習知識パターンに依存する学習自由な手法が明らかになった。
  論文  参考訳（メタデータ） (2026-05-26T14:35:57Z)
• Spend Your Rollouts Where It Counts: Rollout Allocation for Group-Based RL Post-Training [34.81218483901967]
  強化学習は、大規模言語モデルの訓練後において支配的なパラダイムである。 グループベースのポリシー最適化手法は、プロンプト毎に複数のロールアウトから利点を計算する。 Pilot-Commitは、グループベースのRLポストトレーニングのための、予算対応のロールアウトアロケーションフレームワークである。
  論文  参考訳（メタデータ） (2026-05-26T06:41:13Z)
• MM-Doc-R1: Training Agents for Long Document Visual Question Answering through Multi-turn Reinforcement Learning [74.07254720088926]
  長文の視覚的質問応答に対処するために,エージェント型視覚認識ワークフローを利用する新しいフレームワークMM-Doc-R1を紹介する。 GRPOのような既存のマルチターン強化学習(RL)アルゴリズムにおけるベースライン推定バイアスに対処する、類似性に基づくポリシー最適化(SPO)を提案する。 MMLongbench-Docベンチマークの実験では、MM-Doc-R1が以前のベースラインを10.4%上回る結果となった。
  論文  参考訳（メタデータ） (2026-04-15T07:39:08Z)
• SOUP: Token-level Single-sample Mix-policy Reinforcement Learning for Large Language Models [67.41779761651924]
  SOUPは、トークンレベルで個々のサンプル内でオフとオンの学習を統合するフレームワークである。 標準のオン・ポリティクス・トレーニングと既存のオフ・ポリティクス・エクステンションを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-29T09:56:15Z)
• Stronger Together: On-Policy Reinforcement Learning for Collaborative LLMs [20.084201133669534]
  マルチエージェントシステム(MAS)と強化学習(RL)は,大規模言語モデル(LLM)のエージェント能力を高めるために広く利用されている。 政治上のRLをMASに適用することはまだ未熟であり、ユニークな課題を提示している。 我々は,エージェントとターンワイドなグループ化RLアルゴリズムをMASに適合させるAT-GRPOと,単一・複数政治体制をサポートするトレーニングシステムを提案する。
  論文  参考訳（メタデータ） (2025-10-13T06:55:09Z)
• DiFFPO: Training Diffusion LLMs to Reason Fast and Furious via Reinforcement Learning [37.20873499361773]
  マスク付き拡散大言語モデル (dLLM) を学習し, より優れた推論を行うための統一フレームワークを提案する。 我々はまず,既存の基本方針を,真のdLLM政策の近似としてはるかに難易度の高い,政治外RLによるサロゲート政策の訓練により統一する。 RLでは、各プロンプトに対して推論閾値を適応的に割り当てることによって、dLLMの自然なマルチトークン予測能力をインセンティブ化する。
  論文  参考訳（メタデータ） (2025-10-02T16:57:24Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Your Reward Function for RL is Your Best PRM for Search: Unifying RL and Search-Based TTS [62.22644307952087]
  本稿では、RLベースと検索ベースTTSの最初の自然統合であるAIRL-Sを紹介する。 逆逆強化学習(AIRL)とグループ相対政策最適化(GRPO)を組み合わせることで、正しい推論トレースから高密度な動的PRMを直接学習する。 提案手法は,GPT-4oと一致して,ベースモデル上での平均9%の性能向上を図っている。
  論文  参考訳（メタデータ） (2025-08-19T23:41:15Z)
• DUMP: Automated Distribution-Level Curriculum Learning for RL-based LLM Post-training [25.91869315787235]
  本稿では,分布レベルの学習可能性の概念に基づくカリキュラム学習フレームワークを提案する。 我々のフレームワークは、高い平均的優位性(探索)または低いサンプル数(探索)で分布を優先順位付けする。 実験の結果,本フレームワークは収束速度と最終性能を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-04-13T20:10:27Z)
• Fast Adaptation with Behavioral Foundation Models [82.34700481726951]
  教師なしゼロショット強化学習は、行動基礎モデルの事前学習のための強力なパラダイムとして登場した。 有望な結果にもかかわらず、ゼロショットポリシーは、教師なしのトレーニングプロセスによって引き起こされるエラーにより、しばしば準最適である。 本稿では,事前訓練されたBFMの低次元タスク埋め込み空間を探索し,ゼロショットポリシーの性能を急速に向上させる高速適応手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:17Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning [108.79676336281211]
  データ収集とオンライン学習のための新しいポリシーの継続的展開はコスト非効率か非現実的かのどちらかである。 モデルベース不確実性正規化とサンプル効率的なバッチ最適化という新しいアルゴリズム学習フレームワークを提案する。 本フレームワークは,各デプロイメントの新規で高品質なサンプルを発見し,効率的なデータ収集を実現する。
  論文  参考訳（メタデータ） (2021-02-23T01:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。