論文の概要: AgentBrew: Offline Tool-Use Agent Learning from Raw Real-World Trajectories

• arxiv url: http://arxiv.org/abs/2609.05837v1
• Date: Sat, 05 Sep 2026 03:04:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.144518
• Title: AgentBrew: Offline Tool-Use Agent Learning from Raw Real-World Trajectories
• Title（参考訳）: AgentBrew: 生来の現実世界の軌道から学ぶオフラインツール利用エージェント
• Abstract要約: 現実世界のアプリケーションは、事前に定義されたタスクや検証、忠実なシミュレーター、大規模環境相互作用のための限られた予算を提供する。 オフラインのトレーニングフレームワークである textbfAgentBrew を提案する。 AgentBrew は Qwen3-32B を +8.7 Acc / +9.7 Score で改善し、Qwen3-235B (+2.3 / +4.4) を上回り、拒絶サンプリングより優れている。
• 参考スコア（独自算出の注目度）: 36.7302669545557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based agents are increasingly deployed in real-world applications through tool-use APIs, yet training them for specific environments remains fundamentally difficult: real-world applications provide no pre-defined tasks or verifiers, no faithful simulators, and limited budget for large-scale environment interaction. In this paper, we propose \textbf{AgentBrew}, an offline training framework that learns effective tool-use policies from a single batch of raw interaction trajectories, without task verifiers or iterative on-policy rollouts. The agent first explores the target environment to collect a raw trajectory corpus without quality filtering. To extract training signal from this noisy corpus, \emph{retrospective task inference} reconstructs an aligned instruction for each trajectory based on its actual outcome, and \emph{PMI-Based credit assignment} decomposes the trajectory's total information about the inferred instruction into additive per-action credits via pointwise mutual information (PMI). These credits weight the policy training objective, amplifying informative actions while suppressing ineffective ones. On three real-world MCP applications (GitHub, Notion, PostgreSQL), AgentBrew improves Qwen3-32B by +8.7 Acc / +9.7 Score on average, surpassing Qwen3-235B (+2.3 / +4.4) and outperforming rejection sampling (+5.9 / +10.3). These results demonstrate that fine-grained offline learning can recover useful supervision from raw trajectories that filtering-based approaches would discard. The code is available at https://github.com/alphatogo/AgentBrew
• Abstract（参考訳）: LLMベースのエージェントは、ツール使用のAPIを通じて、現実のアプリケーションにますますデプロイされているが、特定の環境に対するトレーニングは、基本的には難しい。 本稿では,タスク検証や反復的なオンラインロールアウトを使わずに,1バッチの生のインタラクショントラジェクトリから効果的なツール利用ポリシーを学習するオフライントレーニングフレームワークである‘textbf{AgentBrew} を提案する。 エージェントは、まずターゲット環境を探索し、品質を損なうことなく生の軌道コーパスを収集する。 このノイズコーパスからトレーニング信号を抽出するために、 \emph{retrospective Task Inference}は、実際の結果に基づいて各トラジェクトリに対して整列した命令を再構成し、 \emph{PMI-based credit assignment}は、推定された命令に関するトラジェクトリの総情報を、ポイントワイド相互情報(PMI)を介して付加的なパーアクションクレジットに分解する。 これらの信用は、政策訓練の目的を重み付け、非効率な行為を抑えながら情報的行動を強化する。 現実世界の3つのCPアプリケーション(GitHub, Notion, PostgreSQL)では、AgentBrewはQwen3-32Bを+8.7 Acc / +9.7 Scoreで改善し、Qwen3-235B (+2.3 / +4.4)を上回り、拒絶サンプリング(+5.9 / +10.3)を上回っている。 これらの結果から, 精密なオフライン学習は, フィルタリングに基づくアプローチが破棄されるような生の軌跡から, 有用な監視を回復できることが示唆された。 コードはhttps://github.com/alphatogo/AgentBrewで入手できる。

関連論文リスト

• PRIMAL3: Pathfinding via Reinforcement and Imitation Multi-Agent Learning - Leveraging LaCAM3 [19.66694371656982]
  PRIMAL3はマルチエージェントパスフィンディング(MAPF)のための超大規模フレームワーク 強化学習、トポロジ対応通信、LaCAM3誘導訓練、PIBTベースの行動改善を統合している。 実験により、PRIMAL3は最先端の学習ベースラインを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-08-05T14:33:59Z)
• Retrieval is Enough: Training-Free Interpretability with a Tool-Using Agent [56.93673666934672]
  トレーニングベースのメソッドは、トレーニング中に大きなアクティベーションデータセットを活用するため、一般的にはより強力である。 これは自然な疑問を引き起こします – トレーニングデータセット自体から回復可能なもの以上の洞察を実際に提示するのでしょうか? LLMエージェントに、アクティベーションを操作するツールとともに、テキストコンテキストと組み合わせたアクティベーションのベクトルデータベースを装備する。 エージェントはデータベースを反復的にクエリし、検索したサンプルから仮説を作成し、線形プローブを構築して検証する。
  論文  参考訳（メタデータ） (2026-07-17T18:47:31Z)
• Beyond Action Residuals: Real-World Robot Policy Steering via Bottleneck Latent Reinforcement Learning [42.74142065376427]
  本稿では,Z-Perturbation Reinforcement Learning (ZPRL)を提案する。 現実世界では、ZPRLは模倣ベースポリシーよりも4つのタスクの平均成功率を33.7%向上させる。
  論文  参考訳（メタデータ） (2026-05-19T14:43:26Z)
• What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
  強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。 既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。 環境重み付け学習フレームワークであるSERLを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T07:00:55Z)
• Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents [52.30603055218294]
  Trajectory2Taskは,3つの現実的なユーザシナリオの下で大規模なツール使用を研究するための,検証可能なデータ生成パイプラインである。 有効なツールコールトラジェクトリを、制御されたインテント適応を伴うユーザ向けタスクに変換する。 我々は、生成された複雑なユーザシナリオタスクに対して、7つの最先端のLCMをベンチマークし、頻繁な障害を観察する。
  論文  参考訳（メタデータ） (2026-01-28T00:36:13Z)
• Emerging from Ground: Addressing Intent Deviation in Tool-Using Agents via Deriving Real Calls into Virtual Trajectories [24.35781391952214]
  意図のずれを軽減するために考案された「リアル・トゥ・ヴァーチャル」法。 RISE(Real-to-Virtual)は,意図の偏差を緩和する手法である。
  論文  参考訳（メタデータ） (2026-01-21T15:58:54Z)
• ET-Agent: Incentivizing Effective Tool-Integrated Reasoning Agent via Behavior Calibration [68.89572566071575]
  ETAgentはエージェントのツール使用行動を調整するためのトレーニングフレームワークである。 過誤行動パターンを最適行動に段階的に校正するように設計されている。
  論文  参考訳（メタデータ） (2026-01-11T11:05:26Z)
• Solving Robotics Tasks with Prior Demonstration via Exploration-Efficient Deep Reinforcement Learning [0.688204255655161]
  本稿では,実演を取り入れたロボットタスクの学習を目的とした,探索効率の高い深層強化学習と参照ポリシ(DRLR)フレームワークを提案する。 DRLRフレームワークはImitation Bootstrapped Reinforcement Learning (IBRL)と呼ばれるアルゴリズムに基づいて開発されている。
  論文  参考訳（メタデータ） (2025-09-04T10:02:32Z)
• Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
  インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。 対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。 我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
  論文  参考訳（メタデータ） (2025-02-03T18:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。