論文の概要: RL$^{\mathrm{RT}}$: On-Device Reinforcement Learning Runtime
- arxiv url: http://arxiv.org/abs/2611.18035v1
- Date: Fri, 13 Nov 2026 11:05:04 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:21.013073
- Title: RL$^{\mathrm{RT}}$: On-Device Reinforcement Learning Runtime
- Title(参考訳): RL$^{\mathrm{RT}}$:オンデバイス強化学習ランタイム
- Abstract要約: 我々は、この結合を調整可能なパラメータにするオンデバイスランタイムであるRL$mathrmRT$を提示します。
リフレッシュバウンダリはリフレッシュ間のアクターリリースを制限し、スラック対応のGPU許可はアクターを優先し、ベーススケジューラ上でのトレーニングで余分な時間を埋める。
- 参考スコア(独自算出の注目度): 5.879412705786273
- License:
- Abstract: On-device reinforcement learning runs a periodic actor and a learner on one embedded GPU shared with other workloads. Because the learner produces the actor's weights, existing designs stall the actor or let its policy drift. We present RL$^{\mathrm{RT}}$, an on-device runtime that makes this coupling a tunable parameter: a refresh bound limits actor releases between refreshes, and a GPU permit with slack-aware admission prioritises the actor and fills spare time with training atop any base scheduler. Under the real refresh cost on two Jetson boards, RL$^{\mathrm{RT}}$ keeps a 16.8 M-parameter policy's deadline misses below 1%, against 85 to 100% without it.
- Abstract(参考訳): デバイス上の強化学習は、周期的なアクタと、他のワークロードと共有する組み込みGPU上の学習者を実行する。
学習者は俳優の体重を発生させるため、既存のデザインは俳優を台無しにするか、方針をドリフトさせる。
RL$^{\mathrm{RT}}$は、この結合を調整可能なパラメータにするオンデバイスランタイムである。リフレッシュバウンダリは、リフレッシュ間のアクターリリースを制限する。
RL$^{\mathrm{RT}}$は16.8Mパラメータポリシーの期限を1%以下に設定し、85から100%は使用しない。
関連論文リスト
- DTP-OPSD: Reinforcement Learning with Distractor-Aware Temporal-Privilege On-Policy Self-Distillation for Temporal Video Grounding [23.847554634668736]
時間的ビデオグラウンディングは、ビデオ内の言語クエリによって記述されたイベントの開始と終了の時間をローカライズすることを目的としている。
DTP-OPSDは、政治的自己蒸留に注意を要する時間的特権を持つ強化学習フレームワークである。
同じデータでトレーニングされたPure GRPOと比較して、DTP-OPSDは、R1@0.7ゲインの3つのベンチマークで1.28, 1.62, 1.78ポイント向上した。
論文 参考訳(メタデータ) (2026-10-29T08:01:44Z) - MCP-Universe RL: A Framework for Training MCP Tool-Use Agents via Reinforcement Learning [54.082979654934]
強化学習(RL)は,大規模言語モデル(LLM)のツール利用能力向上に有効な方法となっている。
既存のRLフレームワークのほとんどは、ポリシー更新で停止する。
オープンソースフレームワークであるMCP-Universe RL(MCP-U RL)について述べる。
論文 参考訳(メタデータ) (2026-08-23T01:49:04Z) - StreamOPD: A Post-Training Recipe with Spatio-Temporal Cue Gating for Streaming Video Understanding [16.629848186775718]
検証可能な報酬を伴う強化学習は、この体制に不適合であり、長い思考と答えの世代を奨励する。
オンライン蒸留は、学生の軌跡に密集したトークンレベルの教師の監督を提供するが、どちらのモデルも思考モードで訓練した場合のみ安定している。
オープンソースストリーミングビデオ研究のための透過的で再現可能なリファレンスを提供する。
論文 参考訳(メタデータ) (2026-08-17T09:25:36Z) - Rollplex: Cross-Phase GPU Spatial Sharing for Vision Language Model Post-Training [9.858972472026501]
視覚言語モデル(VLM)は、エンボディエージェントが視覚観察や言語指示から推論と行動を行うことを可能にする。
現在のRLランタイムは、厳密なシリアルフェーズでロールアウト、参照スコアリング、アクタトレーニングを実行する。
Rollplexは、参照とトレーニングフェーズを分解し、ロールアウトウィンドウに移動します。
論文 参考訳(メタデータ) (2026-08-14T17:13:34Z) - FVAttn: Adaptive Sparse Attention with Runtime Load Balancing for Video Generation [19.638077533543754]
トレーニング不要なスパースアテンションは、マルチGPUシーケンス下での適応スパースアテンションの分散実行効率を向上させる。
平均負荷不均衡を 1.34 から 1.08 に減らし、FlashAttention よりも 4.41 倍の注目速度を提供する。
Wan2.2 I2V では、平均負荷不均衡を 1.34 から 1.08 に減らし、FlashAttention よりも 4.41 倍の注意速度を提供する。
論文 参考訳(メタデータ) (2026-07-17T17:59:32Z) - Spotlight: Synergizing Seed Exploration and Spot GPUs for DiT RL Post-Training [9.410918874958803]
Reinforcement Learning (RL) after-training of Diffusion Transformers (DiTs)は、非常に高価であり、数千のハイエンドGPUを必要とする。
本稿では,DiT RLのポストトレーニング用GPUを抽出する最初のシステムであるSpotlightを紹介する。
オープンソースのRLプラットフォームROLLでSpotlightを実装し,Qwen-Imageポストトレーニングで評価する。
論文 参考訳(メタデータ) (2026-06-17T12:31:44Z) - Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。
JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。
WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
論文 参考訳(メタデータ) (2026-01-26T14:16:51Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳(メタデータ) (2025-11-16T20:14:28Z) - Unmasked Teacher: Towards Training-Efficient Video Foundation Models [50.19560876891811]
ビデオファウンデーションモデル(VFM)は、高い計算コストとデータ不足のため、限られた探索を受けている。
本稿では,既存の手法の利点を生かした時間感応型VFMの訓練効率向上手法を提案する。
我々のモデルは、シーン関連、時間関連、複雑なビデオ言語理解を含む様々なタスクを処理できる。
論文 参考訳(メタデータ) (2023-03-28T15:39:28Z) - ElegantRL-Podracer: Scalable and Elastic Library for Cloud-Native Deep
Reinforcement Learning [141.58588761593955]
クラウドネイティブな深層強化学習のためのライブラリElegantRL-podracerを提案する。
数百万のコアを効率的にサポートし、複数のレベルで大規模な並列トレーニングを実行する。
低レベルでは、各ポッドは1つのGPUで7,000近いGPUコアをフル活用することで、エージェントと環境のインタラクションを並列にシミュレートする。
論文 参考訳(メタデータ) (2021-12-11T06:31:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。