論文の概要: CacheRL:Multi-Turn Tool-Calling Agents via Cached Rollouts and Hybrid Reward

• arxiv url: http://arxiv.org/abs/2606.14179v1
• Date: Fri, 12 Jun 2026 07:01:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.790667
• Title: CacheRL:Multi-Turn Tool-Calling Agents via Cached Rollouts and Hybrid Reward
• Title（参考訳）: CacheRL:Multi-Turn Tool-Calling Agents via Cached Rollouts and Hybrid Reward
• Authors: Md Amirul Islam, Sumiran Thakur, Huancheng Chen, Su Min Park, Jiayun Wang, Gyuhak Kim,
• Abstract要約: CacheRLは、小さなエージェント基盤モデルをトレーニングするシステムである。 マルチステップのツールコールタスクでは,92%のプロセス精度を実現している。 GPT-5の94%に近づき、100倍の計算量を必要とする。
• 参考スコア（独自算出の注目度）: 17.939095034578035
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We present CacheRL, a system for training small agent foundation models that achieves 92 percent process accuracy on multi-step tool-calling tasks, approaching GPT-5's 94 percent while requiring 100 times less compute. Our approach addresses three challenges in practical agent training: transferring tool-calling knowledge from large models at scale, enabling reinforcement learning without costly live tool execution, and learning robustly from noisy cached environments. CacheRL introduces three key innovations. First, a hybrid thinking trajectory pipeline augments agent trajectories with LLM-generated reasoning traces, producing training examples that teach models not only what tools to call but also why. Second, the CacheAgentLoop eliminates live execution costs through a three-tier fuzzy cache while preserving trajectory fidelity using token-level masking. Third, a cache-tier-aware reward dynamically adjusts answer-quality weights to avoid penalizing models for cache-induced limitations. Through iterative supervised fine-tuning (SFT) and Group Relative Policy Optimization (GRPO), CacheRL improves Qwen3-4B-Thinking's validation reward from 0.43 to 0.78. On public agentic tool-calling benchmarks, our model achieves competitive performance against frontier models such as GPT-5. Ablation studies show that removing knowledge transfer reduces performance by 41 percent, while cache-aware rewards contribute a 17 percent improvement. Interestingly, reinforcement learning improves training stability but yields limited gains beyond strong supervised fine-tuning, suggesting that data quality and reward design play a more important role than complex optimization methods in building practical small agent models.
• Abstract（参考訳）: GPT-5の94%に近づき、100倍の計算量を必要とする。 提案手法は,大規模モデルからツールコールの知識を大規模に伝達すること,高コストのライブツール実行を伴わずに強化学習を可能にすること,ノイズの多いキャッシュ環境から堅牢に学習すること,という3つの課題に対処する。 CacheRLは3つの重要なイノベーションを導入している。 まず、ハイブリッド思考トラジェクトリパイプラインは、LLMの生成した推論トレースでエージェントのトラジェクトリを拡張し、どのツールを呼び出すかだけでなく、理由もモデルに教えるトレーニング例を生成します。 第二に、CacheAgentLoopは、3層ファジィキャッシュを通じて、トークンレベルのマスキングを使用してトラジェクトリの忠実さを保ちながら、ライブ実行コストを削減します。 第3に、キャッシュ層認識報酬は、キャッシュによる制限に対するペナライズモデルを避けるために、応答品質の重みを動的に調整する。 繰り返し教師付き微調整(SFT)とグループ相対ポリシー最適化(GRPO)により、CacheRLはQwen3-4B-Thinkingのバリデーション報酬を0.43から0.78に改善する。 公開エージェントツールコールベンチマークでは,GPT-5のようなフロンティアモデルと競合する性能が得られた。 アブレーション調査によると、知識転送の削除はパフォーマンスを41%削減し、キャッシュ対応報酬は17%改善している。 興味深いことに、強化学習は訓練の安定性を向上させるが、強力な教師付き微調整以上の利得が得られるため、実用的な小型エージェントモデルを構築する際には、データ品質と報酬設計が複雑な最適化手法よりも重要な役割を果たすことが示唆されている。

関連論文リスト

• Efficient Agentic Reinforcement Learning with On-Policy Intrinsic Knowledge Boundary Enhancement [16.192937389387982]
  モデル固有の知識境界を動的に探索するオンライン手法であるAKBE(Agentic Knowledge boundary Enhancement)を提案する。 7つのQAベンチマークの実験では、AKBEはタスクの精度を平均で+1.85改善し、標準のエージェントRLよりも18%向上した。
  論文  参考訳（メタデータ） (2026-05-26T12:42:23Z)
• TL-RL-FusionNet: An Adaptive and Efficient Reinforcement Learning-Driven Transfer Learning Framework for Detecting Evolving Ransomware Threats [2.3008238872220548]
  現代のランサムウェアは、検出を避けるために頻繁に実行パターンを変更することで、多形的かつ回避的な振る舞いを示す。 本稿では, 冷凍二重転写学習(TL)を特徴抽出器として組み込んだ強化学習(RL)誘導ハイブリッドフレームワークであるTL-RL-FusionNetを提案する。 実験の結果、TL-RL-Netは99.1%の精度、98.6%の精度、99.6%のリコール、99.74%のAUCを達成した。
  論文  参考訳（メタデータ） (2026-04-22T07:08:27Z)
• Training Large Reasoning Models Efficiently via Progressive Thought Encoding [63.254758972725654]
  大規模推論モデル(LRM)は複雑な問題に優れるが、効率にとって重要な障壁に直面している。 本稿では,パラメータ効率のよい微調整手法であるProgressive Thoughtを紹介する。
  論文  参考訳（メタデータ） (2026-02-18T20:03:38Z)
• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model [100.86587937568832]
  Ring-1Tは、数兆のパラメータを持つ最初のオープンソースの最先端の思考モデルである。 総パラメータは1兆で、1トークンあたり約500億を活性化する。
  論文  参考訳（メタデータ） (2025-10-21T17:46:14Z)
• Efficient RL-based Cache Vulnerability Exploration by Penalizing Useless Agent Actions [0.0]
  キャッシュチューニング攻撃は、微構造特性を利用して機密データを漏洩する。 Reinforcement Learning (RL) に基づく手法が提案されている。 そこで本稿では,これら無用な行為を訓練中に識別し,エージェントが回避し,探索効率が向上する手法を提案する。
  論文  参考訳（メタデータ） (2025-06-08T15:48:16Z)
• Adaptive $Q$-Network: On-the-fly Target Selection for Deep Reinforcement Learning [18.579378919155864]
  我々は、追加のサンプルを必要としない最適化手順の非定常性を考慮するために、Adaptive $Q$Network (AdaQN)を提案する。 AdaQNは理論上は健全で、MuJoCo制御問題やAtari 2600のゲームで実証的に検証されている。
  論文  参考訳（メタデータ） (2024-05-25T11:57:43Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。