論文の概要: Bridging Risk Approximation Gaps in Model Predictive Task Sampling via In-Context Modeling

• arxiv url: http://arxiv.org/abs/2610.14913v1
• Date: Sat, 10 Oct 2026 13:35:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.130501
• Title: Bridging Risk Approximation Gaps in Model Predictive Task Sampling via In-Context Modeling
• Title（参考訳）: 文脈内モデリングによる予測タスクサンプリングにおけるブリッジングリスク近似ギャップ
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、ロバストなメタ-RLやドメインランダム化(Domain randomization, DR)など、適応的な意思決定に不可欠である。 この研究は2つの障害モードを形式化し、結果として生じる時間的バイアスを明らかにするラグリスク分解を導出し、コンテキスト内シーケンスモデリング問題としてリスク予測を再放送する。 実験により,本手法はより信頼性の高い難易度推定と,頑健なメタRL,DRをまたいだ一貫した性能向上を実現し,LLMのポストトレーニングを早急に実施する。
• 参考スコア（独自算出の注目度）: 11.745959825708214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) is essential for adaptive decision-making, e.g., robust Meta-RL and domain randomization (DR), and efficient post-training of large language models (LLMs), where tasks are commonly structured as Markov decision processes or prompts. A central bottleneck in all these settings is the cost of agent-environment interactions required for task selection and policy optimization. Model predictive task sampling (MPTS) has emerged as a promising approach to improve sample efficiency by querying informative tasks via a risk predictive model (RPM) trained on optimization history. However, existing RPMs suffer from two failure modes: (i) sparse optimization histories, which limit RPMs' generalization across the task space, and (ii) a one-step lag in risk approximation, which causes biased difficulty estimation as the policy evolves. This work formalizes these failure modes, derives lagged-risk decompositions that expose the resulting temporal bias, and recasts risk prediction as an in-context sequence modeling problem. The developed RPM integrates a one-step look-ahead mechanism with a temporal-weighted sliding window to mitigate data non-stationarity and scarcity, without requiring additional rollouts. Empirically, our approach yields more reliable difficulty estimates and consistent performance gains across robust Meta-RL, DR, and prompt curriculum RL post-training of LLMs.
• Abstract（参考訳）: 強化学習(Reinforcement Learning、RL)は、例えば、ロバストなメタ-RLとドメインランダム化(DR)、タスクがマルコフ決定プロセスやプロンプトとして一般的に構成される大規模言語モデル(LLM)の効率的な後学習に不可欠である。 これらすべての設定における中心的なボトルネックは、タスクの選択とポリシー最適化に必要なエージェントと環境の相互作用のコストである。 モデル予測タスクサンプリング(MPTS)は、最適化履歴に基づいて訓練されたリスク予測モデル(RPM)を介して情報的タスクをクエリすることで、サンプル効率を向上させるための有望なアプローチとして登場した。 しかし、既存のRPMは2つの障害モードに悩まされている。 (i)タスク空間におけるRPMの一般化を制限するスパース最適化履歴、および (II)リスク近似における一段階のラグであり、政策の進展に伴う難易度推定のバイアスを引き起こす。 この研究は、これらの障害モードを形式化し、結果として生じる時間的バイアスを明らかにするラグリスク分解を導出し、コンテキスト内シーケンスモデリング問題としてリスク予測を再放送する。 開発したRPMは1ステップのルックアヘッド機構と時間重み付きスライドウインドウを統合し、追加のロールアウトを必要とせず、データの非定常性と不足を緩和する。 実験により,本手法はより信頼性の高い難易度推定と,頑健なメタRL,DRをまたいだ一貫した性能向上を実現し,LLMのポストトレーニングを早急に実施する。

関連論文リスト

• Policy Regularized Distributionally Robust Markov Decision Processes with Linear Function Approximation [10.35045003737115]
  分散シフトによる意思決定は、トレーニングとデプロイメント環境が異なる強化学習(RL)における中心的な課題である。 本稿では,モデルのないオンラインポリシー最適化手法DR-RPOを提案する。 DR-RPO は,ロバストな RL における準最適境界とサンプル効率を実現し,値に基づく手法の性能に適合することを示す。
  論文  参考訳（メタデータ） (2025-10-16T02:56:58Z)
• Online Robust Planning under Model Uncertainty: A Sample-Based Approach [8.599681538174888]
  本稿では,Markov Decision Processs (MDP) のためのオンライン計画アルゴリズムであるRobust Sparse Sampling (RSS)を紹介した。 RSSはサンプル平均近似(SAA)の効率性と理論的特性を活用することでロバストな値関数を計算する RSSは無限の状態空間や連続状態空間に適用でき、そのサンプルと計算の複雑さは状態空間のサイズとは独立である。
  論文  参考訳（メタデータ） (2025-09-12T11:41:23Z)
• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• Efficient Safety Alignment of Large Language Models via Preference Re-ranking and Representation-based Reward Modeling [84.00480999255628]
  大規模言語モデル(LLM)の安全性アライメントのための強化学習アルゴリズムは,分散シフトの課題に直面している。 現在のアプローチでは、ターゲットポリシーからのオンラインサンプリングを通じてこの問題に対処するのが一般的である。 モデル固有の安全判断能力を活用して報酬信号を抽出する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-13T06:40:34Z)
• Model Predictive Task Sampling for Efficient and Robust Adaptation [57.414812940406996]
  本稿では,タスク空間と適応リスク分布をブリッジするフレームワークであるモデル予測タスクサンプリング(MPTS)を紹介する。 MPTSは、エピソード最適化プロセスの特徴付けに生成モデルを使用し、後部推論によりタスク固有の適応リスクを予測する。 MPTSはゼロショット、少数ショット、教師付き微調整設定にシームレスに統合される。
  論文  参考訳（メタデータ） (2025-01-19T13:14:53Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection [7.685002911021767]
  非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。 これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。 i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
  論文  参考訳（メタデータ） (2021-05-20T01:57:52Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Mixed Reinforcement Learning with Additive Stochastic Uncertainty [19.229447330293546]
  強化学習 (Reinforcement Learning, RL) 法は、しばしば最適なポリシーを探索するための大規模な探索データに依存し、サンプリング効率の低下に悩まされる。 本稿では, 環境力学の2つの表現を同時に利用して, 最適ポリシーを探索する混合RLアルゴリズムを提案する。 混合RLの有効性は、非アフィン非線形系の典型的な最適制御問題によって実証される。
  論文  参考訳（メタデータ） (2020-02-28T08:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。