論文の概要: BunshinRL: Whole-Workspace Forking for Agentic Reinforcement Learning Rollouts
- arxiv url: http://arxiv.org/abs/2611.10453v2
- Date: Wed, 11 Nov 2026 06:00:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.869688
- Title: BunshinRL: Whole-Workspace Forking for Agentic Reinforcement Learning Rollouts
- Title(参考訳): BunshinRL: エージェント強化学習ロールアウトのための全ワークスペースフォーク
- Abstract要約: BunshinRLは共有環境状態と繰り返しツールコールを利用する。
ピークメモリを最大43%削減し、総メモリ消費を最大51%削減し、エンドツーエンドのロールアウト遅延を23%削減する。
- 参考スコア(独自算出の注目度): 4.819488192266306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic reinforcement learning (RL) rollouts interleave model reasoning with tool calls in persistent workspaces. Scaling these rollouts incurs substantial memory costs for concurrent environments, while slow tool calls delay entire rollout batches. We present BunshinRL, an agentic RL rollout system that exploits shared environment state and recurring tool calls through three techniques: memory sharing across environments, tool-prefix caching, and speculative tool execution. These techniques build on BunshinFork, a novel live whole-workspace forking mechanism for containers. BunshinFork reconstructs process trees, shares memory copy-on-write, and preserves file, communication, and GUI state, enabling cached-state reuse and rollback after incorrect speculation. We implement BunshinRL and BunshinFork through Linux kernel module and CRIU modifications. BunshinRL reduces peak memory by up to 43%, total memory consumption by up to 51%, and end-to-end rollout latency by 23%.
- Abstract(参考訳): エージェント強化学習(RL)ロールアウトは、永続的なワークスペースにおけるツールコールによるモデル推論をインターリーブする。
これらのロールアウトのスケーリングは、同時実行環境においてかなりのメモリコストを発生させ、遅いツールコールはロールアウトバッチ全体を遅延させる。
本稿では,共有環境状態を利用したエージェントRLロールアウトシステムであるBunshinRLを提案する。
これらのテクニックはコンテナの新たなワークスペースフォーク機構であるBunshinFork上に構築されている。
BunshinForkはプロセスツリーを再構築し、メモリコピーオンライトを共有し、ファイル、通信、GUIの状態を保存する。
我々はLinuxカーネルモジュールとCRIU修正によりBunshinRLとBunshinForkを実装した。
BunshinRLはピークメモリを最大43%削減し、総メモリ消費量を最大51%削減し、エンドツーエンドのロールアウト遅延を23%削減する。
関連論文リスト
- Agent-Warden: eBPF-Based Kernel-Native Process-File Provenance Tracking for LLM Agents [12.041078432998376]
Agent-Wardenはプロセス生成、ファイルアクセス、プロセス終了をまたいだタスクと通常のファイル状態を追跡するためのプロファイランスモニタである。
プロトタイプは、評価された設定のオーバーヘッドを測定したカーネルレベルの可視性を提供します。
論文 参考訳(メタデータ) (2026-09-29T06:48:01Z) - MCP-Universe RL: A Framework for Training MCP Tool-Use Agents via Reinforcement Learning [54.082979654934]
強化学習(RL)は,大規模言語モデル(LLM)のツール利用能力向上に有効な方法となっている。
既存のRLフレームワークのほとんどは、ポリシー更新で停止する。
オープンソースフレームワークであるMCP-Universe RL(MCP-U RL)について述べる。
論文 参考訳(メタデータ) (2026-08-23T01:49:04Z) - ReCache: Efficient KV Cache Reuse and Compression for Tool-Augmented LLM Agents [7.368551130048085]
textbfReCacheは、リソース表現を独立してキャッシュするためのフレームワークである。
7つの公開ツールとスキルユースデータセットから収集したベンチマークでReCacheを評価した。
論文 参考訳(メタデータ) (2026-08-20T05:57:24Z) - TideRL: Boosting Agentic RL Goodput with Readiness-Aware Scheduling [23.31709047414638]
大規模言語モデルのための強化学習(RL)は、マルチターンエージェントワークロードに向かっている。
この設定では、トレーニングスループットによって測定されるRLトレーニングの成果は、生のGPU占有よりも重要である。
本稿では,連続的タスク・アクター・パイプライニングと弾性資源スケーリングを備えたレジーネス対応弾性RLシステムであるTideRLについて述べる。
論文 参考訳(メタデータ) (2026-08-11T02:49:33Z) - Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳(メタデータ) (2026-07-15T08:32:40Z) - MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。
MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。
MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
論文 参考訳(メタデータ) (2026-05-20T07:25:33Z) - When Simulation Lies: A Sim-to-Real Benchmark and Domain-Randomized RL Recipe for Tool-Use Agents [32.54888729689753]
ツール使用による部分的に観測可能なマルコフ決定過程(POMDP)における実測ギャップとしての失敗について検討する。
本稿では,ドメインランダム化強化学習(RL)レシピであるToolRL-DRを提案する。
3Bバックボーンでは、ToolRL-DR-Fullは約4分の3のクリーンな精度を維持し、オープンソースの14B関数呼び出しベースラインに匹敵する集計精度に達する。
論文 参考訳(メタデータ) (2026-05-12T10:40:28Z) - TVCACHE: A Stateful Tool-Value Cache for Post-Training LLM Agents [2.1447191409339244]
TVCACHEは、LLMエージェントのポストトレーニングのためのステートフルなツール値キャッシュである。
ヒット率は70%に達し、中央値のツールコールの実行時間を最大6.9倍に削減する。
論文 参考訳(メタデータ) (2026-02-11T16:13:44Z) - Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。
この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。
本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
論文 参考訳(メタデータ) (2026-02-02T13:52:40Z) - NumS: Scalable Array Programming for the Cloud [82.827921577004]
タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。
これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。
LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
論文 参考訳(メタデータ) (2022-06-28T20:13:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。