論文の概要: ObsSpec: Accelerating Agentic Reinforcement Learning with Observation Speculation
- arxiv url: http://arxiv.org/abs/2610.15246v1
- Date: Sun, 11 Oct 2026 00:40:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 01:53:44.245589
- Title: ObsSpec: Accelerating Agentic Reinforcement Learning with Observation Speculation
- Title（参考訳）: ObsSpec:観察予測によるエージェント強化学習の高速化
- Abstract要約: ObsSpecはエージェント強化学習のための観測推測パイプラインである。
環境が実行されている間、ツール出力を予測し、ポリシーが次世代の早期に開始できるようにする。
ObsSpecは、エージェントのレイテンシを9.3%削減し、8Bおよび32Bポリシーの14.2%を削減した。
- 参考スコア（独自算出の注目度）: 7.980552283560463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tool-using agents alternate between model generation and tool execution, waiting for each tool call to complete before starting the next generation. This sequential execution is costly during agentic reinforcement learning (RL), which requires large batches of multi-turn rollouts. We introduce ObsSpec, an observation speculation pipeline for agentic RL that uses a small world model to predict tool outputs while the environment executes, allowing the policy to begin its next generation early. ObsSpec retains speculative work only when the predicted and actual observations match exactly, making rollout collection lossless, while co-training keeps the world model up to date as the policy learns. On terminal-use tasks, predictions from a 0.6B world model exactly match actual observations in 66.4% of attempts and arrive roughly 16 times faster. Using these predictions, ObsSpec reduces agent latency by 9.3% and 14.2% for 8B and 32B policies. Across controlled experiments, we characterize the regimes in which ObsSpec reduces agent latency under shared policy resources. Finally, because ObsSpec overlaps policy generation with tool execution, it is architecturally compatible with existing techniques for accelerating RL. Code is available at https://github.com/kylemontgomery1/verl-recipe/tree/obsspec/obsspec.
- Abstract（参考訳）: ツール使用エージェントは、モデル生成とツール実行を交互に行い、各ツール呼び出しが完了するまで次の世代を開始するのを待つ。
このシーケンシャルな実行は、多ターンロールアウトの大きなバッチを必要とするエージェント強化学習(RL)中にコストがかかる。
エージェントRLの観測投機パイプラインであるObsSpecを導入し、環境が実行されている間、小さな世界モデルを用いてツール出力を予測し、ポリシーを早期に開始する。
ObsSpecは、予測と実際の観測が正確に一致したときのみ投機的な作業を保持し、ロールアウトコレクションを損失なくし、コトレーニングはポリシーが学習するにつれて世界モデルを最新に保つ。
終端使用タスクでは、0.6Bの世界モデルからの予測は66.4%の試行で実際の観測と正確に一致し、約16倍速く到達する。
これらの予測を用いて、ObsSpecはエージェントのレイテンシを9.3%削減し、8Bおよび32Bポリシーの14.2%を削減した。
コントロールされた実験全体で、ObsSpecが共有ポリシーリソース下でのエージェント遅延を減少させる仕組みを特徴付ける。
最後に、ObsSpecはポリシー生成とツールの実行を重複させるため、アーキテクチャ上RLを加速する既存の技術と互換性がある。
コードはhttps://github.com/kylemontgomery1/verl-recipe/tree/obsspec/obsspecで公開されている。
関連論文リスト
- Speculative Macro Commit for Faster Tool-Using Agents [18.574702996656935]
2層エージェントシステムの実行機構である textbfSpeculative Macro Commit (SMC) を導入する。
SMCは、トレーニングトレースから繰り返し発生するマルチアクションスケルトンをマイニングし、マクロライブラリーに保存する。
AppWorldでは,SAベースラインを7.7%,シーケンシャル実行を44.9%削減する。
論文 参考訳（メタデータ） (2026-09-03T00:31:43Z) - CivBench: A Long-Horizon Benchmark for Tool-Mediated Agents in Civilization VI [15.345634962043858]
CivBenchは、ツールを介する環境で言語モデルエージェントを評価するためのオープンソースのベンチマークである。
単一のエピソードは300回以上のターンにまたがり、大規模なアクション空間上で数千のツールコールを発生させる。
CivBenchを使って、23の許容実行で4つのモデルファミリにまたがるエージェントの動作を特徴付ける。
論文 参考訳（メタデータ） (2026-09-02T11:31:39Z) - AOSpec: Action and Observation Co-Speculation for Low-Latency Agent Serving [12.403374013868019]
エージェント環境の完全なループをまたいだアクションと観察を共指定するフレームワークであるAOSpecについて述べる。
実行のみの結果が明らかになるため、AOSpecは独立したフォークでレイテンシクリティカルなターゲットアクションをローンチする。
AOSpecは平均エンドツーエンドのレイテンシを11.8-32.5%、p99のレイテンシを42.8%削減する。
論文 参考訳（メタデータ） (2026-08-01T22:06:52Z) - OoO-Spec: Out-of-Order Semantic Speculation for Fast Tool Calling [10.19615019581895]
LLMは、関数の選択と引数の値は、要求とツールスキーマと並行して予測できるにもかかわらず、トークン単位でツールコールを生成する。
我々は、これらの欠落したセマンティクスを順番に計算するOoO-Specを提案する。
論文 参考訳（メタデータ） (2026-08-01T18:41:11Z) - IdleSpec: Exploiting Idle Time via Speculative Planning for LLM Agents [56.77101184011525]
大規模言語モデル(LLM)ベースのエージェントは、反復的なツールコールと環境相互作用で多段階推論を活用することで複雑なタスクを解決する。
ほとんどのエージェントシナリオではアイドル時間が流行しているが、既存の作業では避けられないオーバーヘッドとして扱っている。
IdleSpecは、アイドル時間計算を利用してエージェントのパフォーマンスを向上させる、スケーラブルで汎用的な推論手法である。
論文 参考訳（メタデータ） (2026-05-21T08:25:17Z) - ParaVT: Taming the Tool Prior Paradox for Parallel Tool Use in Agentic Video Reinforcement Learning [91.51460129144654]
我々はParaVTを紹介した。ParaVTは、Parallel Video Tool呼び出しのための、最初のマルチエージェントのエンドツーエンドRLトレーニングフレームワークである。
ParaVTはQwen3-VLベースラインを平均で+7.9%改善し、PARA-GRPOはトレーニングタイムのフォーマット準拠を0.13から0.64に引き上げた。
論文 参考訳（メタデータ） (2026-05-19T18:01:26Z) - SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning [104.01865949020304]
エージェント・マルチモーダル・大規模言語モデル(MLLM)は,反復的な視覚的ツールの実行によって顕著な推論能力を達成する。
しかし、カスケード認識、推論、ツール呼び出しループは、重要なシーケンシャルなオーバーヘッドをもたらす。
このオーバーヘッドはエージェントディープと呼ばれ、禁止されたレイテンシを発生させ、システムレベルのスループットを著しく制限します。
本稿では,エージェントレベルの投機的アクセラレーションフレームワークであるSpecEyesを提案する。
論文 参考訳（メタデータ） (2026-03-24T17:45:47Z) - $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
$textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。
我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
論文 参考訳（メタデータ） (2025-06-15T05:50:05Z) - Foundation Policies with Hilbert Representations [54.44869979017766]
ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。
我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。
実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
論文 参考訳（メタデータ） (2024-02-23T19:09:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。