Fugu-MT 論文翻訳(概要): Efficient Reinforcement Learning for Long-Horizon Tool-Use Agentic Tasks

論文の概要: Efficient Reinforcement Learning for Long-Horizon Tool-Use Agentic Tasks

arxiv url: http://arxiv.org/abs/2608.10357v1
Date: Tue, 11 Aug 2026 01:30:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-12 19:14:45.858347
Title: Efficient Reinforcement Learning for Long-Horizon Tool-Use Agentic Tasks
Title（参考訳）: 長軸ツールを用いたエージェントタスクの効率的な強化学習
Abstract要約: 長期的なツール使用エージェントは、ユーザ目標、ドメインポリシー、ツールコール、シミュレータ状態、検証の遅れといった理由を考慮しなければなりません。本稿では,マルチコントロールツール利用環境におけるRLのモジュール型トレーニングシステムであるSINKFLEX-RLを提案する。
参考スコア（独自算出の注目度）: 3.5732010112106507
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Long-horizon tool-using agents must reason over user goals, domain policies, tool calls, simulator state, and delayed verifiable rewards. Reinforcement learning (RL) is a natural fit for this setting, but multi-turn on-policy rollouts create long contexts, while model-specific attention layers may require custom masks and learned sink normalization. We present SINKFLEX-RL, a modular training system for RL in dual-control tool-use environments. The system combines a Gymnasium-compatible environment wrapper, a VERL-style rollout dataflow, group-relative policy optimization without a separate value model, and a sink-aware FlexAttention path designed to preserve model-specific sink scaling under causal and sliding-window masks. In a preliminary Tau2Bench retail run, validation reward (mean@1) rises from 0.25 early in training to $0.44$ later in the observed training window, while training-score and trajectory-reward proxies also trend upward. In a fixed-configuration memory benchmark, the optimized attention path reduces peak VRAM from 28.06GB to 22.52GB at 4096 tokens, a $19.7\%$ reduction, and runs the measured 8192-token configuration using $25.53$~GB where the eager baseline runs out of memory. These results illustrate the value of integrating environment interfaces, RL dataflow, and attention-kernel design for memory-feasible long-horizon agent training.
Abstract（参考訳）: 長期的なツール使用エージェントは、ユーザ目標、ドメインポリシー、ツールコール、シミュレータ状態、検証の遅れといった理由を考慮しなければなりません。強化学習(Reinforcement Learning, RL)は、この設定に自然に適合するが、マルチターン・オン・ポリティクスのロールアウトは長いコンテキストを生み出し、モデル固有の注意層はカスタムマスクと学習されたシンク正規化を必要とする。本稿では,マルチコントロールツール利用環境におけるRLのモジュール型トレーニングシステムであるSINKFLEX-RLを提案する。このシステムは、Gymnasium互換環境ラッパー、VERLスタイルのロールアウトデータフロー、個別の値モデルを持たないグループ関係ポリシー最適化、および因果マスクとスライドウインドウマスクの下でモデル固有のシンクスケーリングを維持するように設計されたシンク対応FlexAttentionパスを組み合わせる。予備的なTau2Bench小売業では、検証報酬(mean@1)は、トレーニングの早い段階で0.25ドルから、観察されたトレーニングウィンドウで0.44ドルまで上昇し、トレーニングスコアとトラジェクトリ・リワードプロキシも上昇傾向にある。固定構成メモリベンチマークでは、最適化されたアテンションパスにより、ピークVRAMが28.06GBから4096トークンで22.52GBに減少し、19.7\%の値が下げられ、25.53$~GBのメモリを使い、測定された8192トークン構成を実行する。これらの結果から, 環境インタフェースの統合, RLデータフロー, 注意カーネル設計の意義が示唆された。

関連論文リスト

LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents [56.902747731541695]
LEGO-RLは、ネイティブコーディングエージェントハーネスをスケーラブルなポリシ-グラディエント最適化でブリッジするフレームワークです。我々は、3つのネイティブコーディングエージェントハーネスにまたがるGSPOを用いて、疎いMoEモデルQwen3.5-35B-A3BをトレーニングすることでLEGO-RLを評価する。
論文参考訳（メタデータ） (2026-08-18T05:34:35Z)
TERRA: A Hierarchical Parallel Training and Memory Orchestration Framework for High-Resolution AI-based Earth Modeling [9.997208121319169]
高解像度AIベースのアース予測モデルのトレーニングはメモリ集約的だ。我々は,高分解能地球予測のための階層的並列トレーニングフレームワークであるTERRAを提案する。
論文参考訳（メタデータ） (2026-08-15T12:52:48Z)
Versioned Late Materialization for Ultra-Long Sequence Training in Recommendation Systems at Scale [12.736059967085025]
現代のディープラーニング勧告モデル(DLRM)は、シーケンス長のスケーリング法則に従う。 Fat Row"パラダイムは、これらのシーケンスをトレーニングのすべての例にプリマテリアル化し、ストレージとI/Oウォールを作成します。本稿では、UIHを正規化不変層に一度保存することで、この冗長性を解消するエンバージョン遅延物質化パラダイムを提案する。
論文参考訳（メタデータ） (2026-04-27T06:41:39Z)
SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
論文参考訳（メタデータ） (2026-03-24T16:48:31Z)
Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
論文参考訳（メタデータ） (2026-03-12T16:00:22Z)
Taming the Long-Tail: Efficient Reasoning RL Training with Adaptive Drafter [52.111923076688505]
強力な推論能力を持つ大規模言語モデル(LLM)のトレーニングは、複雑な問題解決において新たなフロンティアを解放する重要なマイルストーンとなる。本稿では,適応的投機的復号化を組み込むことで,RL学習の無作為に推論を高速化するシステムであるTLTを提案する。
論文参考訳（メタデータ） (2025-11-20T18:59:25Z)
UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning [78.86567400365392]
オフライン軌道上でオンラインRLをシミュレートする新しいパラダイムであるセミオンライン強化学習を提案する。長期トレーニング信号をキャプチャするために、Semi-online RLは報酬計算に割引先を返す。実験の結果,Semi-online RLは4つの動的ベンチマークで7Bモデル間でSOTA性能を実現することがわかった。
論文参考訳（メタデータ） (2025-09-15T03:24:08Z)
Reducing GPU Memory Fragmentation via Spatio-Temporal Planning for Efficient Large-Scale Model Training [9.775731832789116]
本稿では,ディープラーニングフレームワークのためのGPUメモリアレータSTWeaverを紹介し,メモリ割り当て動作の時間的規則性を利用してフラグメンテーションを低減する。プラグPyTorchとして開発されたSTWeaverは、密度とスパースモデルの両方で平均79.2%(最大100%)のフラグメンテーション比を、無視できるオーバーヘッドで減少させる。
論文参考訳（メタデータ） (2025-07-22T06:39:07Z)
RLx2: Training a Sparse Deep Reinforcement Learning Model from Scratch [23.104546205134103]
深層強化学習(DRL)モデルの訓練は通常、高いコストを必要とする。 DRLモデルの圧縮は、トレーニングアクセラレーションとモデル展開に大きな可能性を秘めている。我々は,「textbfRigged textbfReinforcement textbfLearning textbfLottery (RLx2) 」という,新しいスパースDRLトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-05-30T12:18:43Z)
Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文参考訳（メタデータ） (2022-04-02T09:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。