論文の概要: HARTS: Efficient Agentic Reinforcement Learning for Hybrid-Attention Models over Arbitrary Rollout Trees

• arxiv url: http://arxiv.org/abs/2608.28158v1
• Date: Fri, 28 Aug 2026 10:18:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.272786
• Title: HARTS: Efficient Agentic Reinforcement Learning for Hybrid-Attention Models over Arbitrary Rollout Trees
• Title（参考訳）: HARTS: 任意ロールアウト木上のハイブリッド注意モデルのための効率的なエージェント強化学習
• Abstract要約: HARTS (Hybrid-Attention RL over Tree Structures) について述べる。 HarTSは、実際のハイブリッドアテンションモデル上で任意のロールアウトツリープレフィックス共有スピードアップを示す最初のシステムである。
• 参考スコア（独自算出の注目度）: 10.936836651826722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic reinforcement learning (RL) often produces irregular rollout trees with shared histories. Training root-to-leaf trajectories independently recomputes these shared prefixes. Existing systems primarily target full-attention models and lack dense, differentiable hybrid-attention execution compatible with activation recomputation. We present HARTS (Hybrid-Attention RL over Tree Structures). HARTS jointly plans microbatches, data-parallel (DP) replica assignments, and microbatch-slot schedules using non-replay compact-token work after prefix compression. For chunkwise linear attention, a linear-time algorithm coordinates chunk-boundary state recovery and replay and produces the minimum number of sequential linear-attention calls under our packed execution model. HARTS preserves the chunkwise state partitioning of trajectory-wise training: it does not repeat projections, MLP/MoE computation, or final outputs, and performs only bounded state replay for numerical alignment. Per round, HARTS batches all branches into one packed call, propagates gradients through differentiable state handoffs, supports activation recomputation, and restores per-token log-probabilities. For deterministic, no-token-drop top-$k$ MoE routing, semantic multiplicities restore MoE-objective token weights and load statistics. Existing RL objectives retain their interface. To our knowledge, HARTS is the first system to demonstrate arbitrary-rollout-tree prefix-sharing speedups on a real hybrid-attention model. On an Agentic RL workload generated from SWE-bench tasks, HARTS achieves $4.81$--$4.87\times$ forward/backward/gradient speedup with activation recomputation across multiple parallel configurations. Its numerical differences are comparable to baseline self-rerun variation, and its reward trend is similar to the baseline over the first 120 steps of $τ^3$-Bench training.
• Abstract（参考訳）: エージェント強化学習(RL)は、しばしば共有履歴を持つ不規則なロールアウト木を生成する。 ルートからリーフへの軌道の訓練は、これらの共有プレフィックスを独立して再計算する。 既存のシステムは、主にフルアテンションモデルをターゲットにしており、アクティベーション再計算と互換性のある密集した差別化可能なハイブリッドアテンション実行を欠いている。 本稿では,HARTS (Hybrid-Attention RL over Tree Structures)を提案する。 HARTSは、マイクロバッチ、データ並列(DP)レプリカの割り当て、プレフィックス圧縮後の非再生コンパクトな作業を用いたマイクロバッチスロットスケジュールを共同で計画している。 チャンクワイズ線形注意のために、線形時間アルゴリズムはチャンク境界状態の回復とリプレイをコーディネートし、充填された実行モデルの下で連続的なリニアアテンションコールの最小数を生成する。 HARTSは、射影、MLP/MoE計算、最終的な出力を繰り返すことなく、数値アライメントのための境界状態リプレイのみを実行する。 ラウンド毎に、HARTSはすべてのブランチをひとつのパックされたコールにバッチし、異なる状態ハンドオフを通じて勾配を伝搬し、アクティベーション再計算をサポートし、トークン単位のログ確率を復元する。 決定論的で、no-token-dropのトップ-$k$ MoEルーティングでは、セマンティックな多重度がMoEオブジェクトトークンの重みとロード統計を復元する。 既存のRLオブジェクトはインターフェイスを保持します。 我々の知る限り、HARTSは、実際のハイブリッドアテンションモデル上で任意のロールアウトツリープレフィックス共有の高速化を示す最初のシステムである。 SWE-benchタスクから生成されるエージェントRLワークロードでは、HARTSは4.81$-$4.87\times$ forward/backward/gradient speedupを達成する。 その数値差はベースラインの自己再帰変動に匹敵するものであり、報酬傾向は最初の120ステップのτ^3$-Benchトレーニングのベースラインに類似している。

関連論文リスト

• Process Reward Informed Tree Rollout for Effective Multi-Turn RL [58.392997761968566]
  長期のエージェントタスクでは、均一なロールアウト戦略は、非形式的なデッドエンドの試みに予算を無駄にする可能性がある。 本稿では,マルチターンエージェントRLの品質を意識したロールアウトフレームワークであるProcess-Scorer Guided Adaptive Tree Rollout (PATR)を提案する。 PATRはタスクに適したプロセスフィードバックを使用して部分的軌跡をスコアし、将来性のある状態から選択的に分岐し、共有プレフィックスを再利用し、無駄なサンプリングを減らすために経路を保守的に停止する。
  論文  参考訳（メタデータ） (2026-07-17T04:16:58Z)
• Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes [70.61868608402723]
  我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。 SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。 トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
  論文  参考訳（メタデータ） (2026-07-14T18:39:29Z)
• Libra: Efficient Resource Management for Agentic RL Post-Training [11.701871372256205]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)を有能なエージェントに変換するための訓練後の標準パラダイムとして登場した。 エージェントRLでは、ロールアウトステージはツールを呼び出しながら軌道を生成し、長い尾と静止しないワークロードを生成する。 両課題に対処するリソース管理システムLibraについて,2つのコアメカニズムを用いて紹介する。
  論文  参考訳（メタデータ） (2026-06-02T03:09:13Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• AREAL-DTA: Dynamic Tree Attention for Efficient Reinforcement Learning of Large Language Models [30.413941705590933]
  強化学習(RL)トレーニングにおいて,プレフィックス共有を効率的に活用するために,AREAL-DTAを導入する。 AREAL-DTAは、deep-first-search(DFS)ベースの実行戦略を採用し、前方および後方の両方でロールアウトツリーを動的に横切る。 AREAL-DTAは最大831Times$2$-benchのトレーニングスループットを実現している。
  論文  参考訳（メタデータ） (2026-01-31T03:05:34Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)
• Tree Training: Accelerating Agentic LLMs Training via Shared Prefix Reuse [21.642997639835396]
  本研究では,各接頭辞を1回だけ計算し,前後の両方の分岐で中間結果を再利用するパラダイムであるツリートレーニングを提案する。 複数のオープンソースモデルの実験では、総トレーニング時間を3.9倍に削減し、より効率的なLLM SFTおよびRLトレーニングを可能にした。
  論文  参考訳（メタデータ） (2025-11-01T05:56:49Z)
• SPEC-RL: Accelerating On-Policy Reinforcement Learning via Speculative Rollouts [35.82325476805143]
  SPEC-RLは、SPECulativeデコーディングとRLロールアウトプロセスを統合するフレームワークである。 政策品質を損なうことなく、ロールアウト時間を2～3倍に短縮する。 純粋にロールアウトステージの強化として、SPEC-RLはメインストリームのアルゴリズムとシームレスに統合される。
  論文  参考訳（メタデータ） (2025-09-27T10:32:34Z)
• Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [61.67090981767583]
  本研究では,Mixture-of-Recursions (MoR)を導入した。 MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。 また、メモリフットプリントをさらに削減するために、KVペアを最初の再帰から再利用するKV共有変種を提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:49:00Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• Parallel Actors and Learners: A Framework for Generating Scalable RL Implementations [14.432131909590824]
  強化学習(Reinforcement Learning, RL)は、ロボット工学、ゲーム、医療などの応用分野において大きな成功を収めている。 現在の実装は、不規則なメモリアクセスや同期オーバーヘッドといった問題により、パフォーマンスが劣っている。 マルチコアシステム上でスケーラブルな強化学習を実現するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-03T21:00:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。