論文の概要: Are Online Skill and Memory Modules Always Worth Their Tokens? A Budget-Constrained Study of Web Agents

• arxiv url: http://arxiv.org/abs/2606.15017v1
• Date: Fri, 12 Jun 2026 23:30:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.645018
• Title: Are Online Skill and Memory Modules Always Worth Their Tokens? A Budget-Constrained Study of Web Agents
• Title（参考訳）: オンラインスキルと記憶モジュールは、常にその価値が高いか? Webエージェントの予算制約による研究
• Authors: Sina Hajimiri, Masih Aminbeidokhti, Jose Dolz, Ismail Ben Ayed, Issam H. Laradji, Spandana Gella, Nicolas Gontier,
• Abstract要約: 我々は、このオーバーヘッドがすべてのタスクに支払われるオンライン強化について研究し、その利点を固定された総推定予算の下で再評価する。 AWM、AIS、ReasoningBankとトークンマッチングされたバニラベースラインを比較します。 以上の結果から,特定のドメインにおいて,スキルやワークフローの記憶が有用であることが示唆された。
• 参考スコア（独自算出の注目度）: 34.54961677428331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online web agents often augment a base actor with memory, workflow, or skill modules. These modules can improve performance, but they also consume test-time tokens, a cost rarely reported alongside the actor's inference cost. We study online augmentation, where this overhead is paid on every task, and re-evaluate its benefits under a fixed total inference budget. We compare AWM, ASI, and ReasoningBank with a token-matched vanilla baseline that uses the same budget for additional actor steps. Across three WebArena domains and three models, Gemini 3 Flash, GPT-5.4-mini, and Qwen 3.6-27B, the vanilla baseline matches or surpasses all three augmentation methods in aggregate success rate while often using fewer total tokens. We observe a similar trend on WorkArena-L1 with Qwen 3.6-27B, indicating that the effect extends to enterprise knowledge-work tasks. Our results suggest that skills and workflow memory can be useful in specific domains, but their apparent gains often vanish against a budget-matched actor. We further show that run-to-run variance materially affects outcomes and should be reported as a core evaluation criterion for online web agents.
• Abstract（参考訳）: オンラインウェブエージェントは、メモリ、ワークフロー、スキルモジュールでベースアクターを増強することが多い。 これらのモジュールはパフォーマンスを向上させることができるが、アクターの推論コストとともに報告されることの少ないテストタイムトークンも消費する。 我々は、このオーバーヘッドがすべてのタスクに支払われるオンライン強化について研究し、その利点を固定された総推定予算の下で再評価する。 AWM、AIS、ReasoningBankとトークンマッチングされたバニラベースラインを比較します。 3つのWebArenaドメインと3つのモデル(Gemini 3 Flash、GPT-5.4-mini、Qwen 3.6-27B)にまたがって、バニラのベースラインは総成功率で3つの拡張メソッドと一致し、総トークン数は少ない。 我々は、Qwen 3.6-27BによるWorkArena-L1の同様の傾向を観察し、その効果が企業ナレッジワークタスクにまで及ぶことを示す。 以上の結果から,特定のドメインにおいて,スキルやワークフローの記憶が有用であることが示唆された。 さらに,オンラインWebエージェントのコア評価基準として,実行時から実行時までの分散が結果に重大な影響を及ぼすことを示す。

関連論文リスト

• PANDO: Efficient Multimodal AI Agents via Online Skill Distillation [8.784808015938543]
  単ロールのオンラインスキル蒸留フレームワークであるPANDOを紹介します。 910のVisualWebArenaタスクの完全なセットで、PANDOは58.3%の成功率を達成した。 300タスクのアブレーションは、ルールとルーチンがほとんどの成功をもたらすことを示している。
  論文  参考訳（メタデータ） (2026-05-24T00:07:25Z)
• How Do AI Agents Spend Your Money? Analyzing and Predicting Token Consumption in Agentic Coding Tasks [40.99169244450745]
  本稿では,エージェントプログラミングタスクにおけるトークン消費パターンに関する最初の体系的研究について述べる。 タスク実行前に、モデルが自身のトークンコストを予測する能力を評価する。 我々の研究は、AIエージェントの経済性に関する新たな洞察を提供し、将来の研究を刺激することができる。
  論文  参考訳（メタデータ） (2026-04-24T17:54:47Z)
• Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets [14.028807574426748]
  データ処理の不等式に基づく情報理論の議論を示す。 トークンを一定に保った場合,SASはマルチホップ推論タスクにおいてMASと一貫して一致し,より優れることがわかった。 以上の結果から,マルチホップ推論タスクにおいて,マルチエージェントシステムのアドバンテージを未計算の計算や文脈効果によってよりよく説明できることが示唆された。
  論文  参考訳（メタデータ） (2026-04-02T18:47:48Z)
• Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory [56.0946692457838]
  BudgetMemは、明示的でクエリ対応のパフォーマンスコスト管理のためのランタイムエージェントメモリフレームワークである。 軽量ルータは、タスク性能とメモリ構築コストのバランスをとるために、モジュール間の予算層ルーティングを実行する。 LoCoMo、LongMemEval、HotpotQAの他、BudgetMemはパフォーマンスが優先されるときに、強力なベースラインを超える。
  論文  参考訳（メタデータ） (2026-02-05T18:57:09Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• Actor-Critic for Continuous Action Chunks: A Reinforcement Learning Framework for Long-Horizon Robotic Manipulation with Sparse Reward [85.84943447589511]
  本稿では,高次元連続行動系列を生成するための新しいRLフレームワークであるAC3(Actor-Critic for Continuous Chunks)を紹介する。 この学習プロセスを安定させ、データ効率を高めるため、AC3はアクターと批評家の両方に目標安定化機構を組み込む。
  論文  参考訳（メタデータ） (2025-08-15T01:27:15Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。