論文の概要: From History to State: Constant-Context Skill Learning for LLM Agents

• arxiv url: http://arxiv.org/abs/2605.05413v1
• Date: Wed, 06 May 2026 20:13:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.403367
• Title: From History to State: Constant-Context Skill Learning for LLM Agents
• Title（参考訳）: 歴史から国家へ: LLMエージェントのための定文脈スキル学習
• Abstract要約: 大規模言語モデル(LLM)エージェントは、ブラウザ、ファイル、コード、ツールを操作するためにますます使われており、パーソナルアシスタントを自然なデプロイメントターゲットにしている。 クラウドモデルはマルチステップをうまく実行しますが、機密性の高い中間コンテキストを外部APIに公開します。 本稿では,タスクファミリーの軽量モジュールで再利用可能な手順を学習し,現在の観測状況とコンパクトな状態ブロックにのみ推論条件を学習する,反復エージェントのコンテキスト・ツー・ウェイト・フレームワークであるコンスタント・コンテキスト・ラーニングを提案する。
• 参考スコア（独自算出の注目度）: 8.492402666210335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents are increasingly used to operate browsers, files, code and tools, making personal assistants a natural deployment target. Yet personal agents face a privacy-cost-capability tension: cloud models execute multi-step workflows well but expose sensitive intermediate context to external APIs, while local models preserve privacy but remain less reliable. Both settings also pay repeatedly for long skill prompts and growing histories. We propose constant-context skill learning, a context-to-weights framework for recurring agent workflows: reusable procedures are learned in lightweight task-family modules, while inference conditions only on the current observation and a compact state block. A deterministic tracker renders this state block from task progress and supplies aligned subgoal rewards, so each module can be trained with step-level SFT and refined through online RL. Across ALFWorld, WebShop, and SciWorld, our agents achieve strong performance across Qwen3-4B, Qwen3-8B and Llama-3.1-8B. With Qwen3-8B, SFT+RL reaches 89.6\% unseen success on ALFWorld, 76.8\% success on WebShop, and 66.4\% unseen success on SciWorld. They match or exceed strong published agent-training results while reducing prompt tokens per turn by 2--7$\times$ relative to controlled ReAct prompting baselines, showing that procedural context can be moved from prompts into weights.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ブラウザ、ファイル、コード、ツールを操作するためにますます使われており、パーソナルアシスタントを自然なデプロイメントターゲットにしている。 クラウドモデルはマルチステップワークフローをうまく実行しますが、機密性の高い中間コンテキストを外部APIに公開します。 どちらの設定も、長いスキルプロンプトと成長履歴のために繰り返し支払います。 本稿では,エージェントワークフローを再現するためのコンテキスト・ツー・ウェイト・フレームワークであるコンスタント・コンテキスト・スキル・ラーニングを提案する。 決定論的トラッカーはこの状態ブロックをタスクの進捗からレンダリングし、各モジュールをステップレベルのSFTでトレーニングし、オンラインRLを通して洗練することができる。 ALFWorld、WebShop、SciWorld全体で、当社のエージェントはQwen3-4B、Qwen3-8B、Llama-3.1-8Bで強いパフォーマンスを達成しています。 Qwen3-8B では、SFT+RL は ALFWorld で89.6 %、WebShop で76.8 %、SciWorld で66.4 % に到達した。 プロシージャコンテキストがプロシージャから重みに移動可能であることを示しながら、プロシージャトレーニングの結果に適合または超えながら、1ターン当たりのプロシージャトークンをコントロールされたReActに対して2--7$\times$で削減する。

関連論文リスト

• AgentBrew: Offline Tool-Use Agent Learning from Raw Real-World Trajectories [36.7302669545557]
  現実世界のアプリケーションは、事前に定義されたタスクや検証、忠実なシミュレーター、大規模環境相互作用のための限られた予算を提供する。 オフラインのトレーニングフレームワークである textbfAgentBrew を提案する。 AgentBrew は Qwen3-32B を +8.7 Acc / +9.7 Score で改善し、Qwen3-235B (+2.3 / +4.4) を上回り、拒絶サンプリングより優れている。
  論文  参考訳（メタデータ） (2026-09-05T03:04:23Z)
• Beyond Domains: Reusing Web Skills via Transferable Interaction Patterns [68.0603867264595]
  SkillMigratorは再利用可能なWebスキルを学習し、特定の要素参照ではなくレイアウト構造にマッチしてサイト間でそれらを転送する。 WebArenaとMind2Webの両方において、成功軌道上の平均LCM-アクション数を、一致した成功速度で8-10%削減する。
  論文  参考訳（メタデータ） (2026-06-16T08:04:35Z)
• SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows? [29.5539656241093]
  Computer-Using Agents (CUA)は、より複雑な環境でのアクション実行に対するテキストベースの推論を超えて、大規模言語モデル(LLM)を急速に拡張している。 既存のベンチマークは、しばしば単純化された設定、孤立したタスク、短期水平相互作用に依存している。 6つのプロフェッショナルドメインにわたる23のデプロイ可能なシステム上に構築されたベンチマークには、現実的な作業シナリオに基づく106のタスクが含まれています。 実験の結果、LLMベースのエージェントがベンチで苦労していることが示され、最強のモデルでさえ、エンドツーエンドのタスクの4%未満を完了している。
  論文  参考訳（メタデータ） (2026-05-15T09:35:15Z)
• Synthetic Sandbox for Training Machine Learning Engineering Agents [26.34347159807133]
  SandMLEは、少数のシードタスクから検証可能な合成MLE環境を生成するマルチエージェントフレームワークである。 我々は,SandMLEが13回以上実行時間を短縮し,MLEドメインで初めて大規模かつオン・ポリティクスなRLを実現することを示す。
  論文  参考訳（メタデータ） (2026-04-06T17:19:29Z)
• SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization [61.37478254738943]
  推論時のスキル向上は基本的に制限されている。 SKILL0は,スキル内部化のためのコンテキスト内強化学習フレームワークである。 SKILL0は標準のRLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-04-02T17:03:05Z)
• Scaling In-Context Online Learning Capability of LLMs via Cross-Episode Meta-RL [28.82521610729606]
  大規模言語モデル(LLM)は、すべてのタスク関連情報が事前に利用できる場合、高いパフォーマンスを達成する。 ORBITはマルチタスク・マルチタスク・メタ強化学習フレームワークで,文脈におけるインタラクションから学習するためにLDMを訓練する。 メタトレーニングの後、比較的小さなオープンソースモデル(Qwen3-14B)は、完全に見えない環境でコンテキスト内オンライン学習を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2026-02-03T23:53:05Z)
• Grounded in Reality: Learning and Deploying Proactive LLM from Offline Logs [72.08224879435762]
  textttLearn-to-Askは、プロアクティブな対話エージェントの学習とデプロイのためのシミュレータフリーフレームワークである。 当社のアプローチは,LLMの大規模オンラインAIサービスへの展開を成功に導くものです。
  論文  参考訳（メタデータ） (2025-10-29T12:08:07Z)
• Fine-tuning with RAG for Improving LLM Learning of New Skills [8.825427873545063]
  大規模言語モデル(LLM)エージェントは予測可能な方法で頻繁に失敗する。 本稿では,推論時間検索を蒸留による学習能力に変換する単純なパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-01T19:03:48Z)
• Reinforcement Learning for Machine Learning Engineering Agents [52.03168614623642]
  強化学習によって改善される弱いモデルによって支援されるエージェントは、はるかに大きいが静的モデルによって支援されるエージェントよりも優れていることを示す。 分散非同期RLフレームワークにおいて,高コストかつ高利回りな動作を増幅するための時間依存性の勾配更新を提案する。 また,早期に失敗するプログラムとほぼ正しくないプログラムを区別し,部分クレジットを提供する環境機器を提案する。
  論文  参考訳（メタデータ） (2025-09-01T18:04:10Z)
• Memento: Fine-tuning LLM Agents without Fine-tuning LLMs [36.3424780932712]
  本稿では,適応型大言語モデル(LLM)エージェントのための新しい学習パラダイムを提案する。 本手法は,メモリベースのオンライン強化学習により,低コストで連続的な適応を可能にする。 我々はエージェントモデルを,GAIA検証でトップ1に達するemphMementoというディープリサーチ環境でインスタンス化する。
  論文  参考訳（メタデータ） (2025-08-22T07:25:30Z)
• ImagineBench: Evaluating Reinforcement Learning with Large Language Model Rollouts [10.273192140887481]
  強化学習(RL)における中心的な課題は、タスク固有のポリシーを学ぶために、広範囲の現実世界のインタラクションデータに依存することである。 我々は、オフラインRLアルゴリズムを評価するための最初の包括的なベンチマークであるImagineBenchを紹介する。 既存のオフラインRLアルゴリズムを単純に適用すれば、目に見えないタスクにおいて、最適以下のパフォーマンスが得られることを観察する。
  論文  参考訳（メタデータ） (2025-05-15T06:45:37Z)
• Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
  インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。 対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。 我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
  論文  参考訳（メタデータ） (2025-02-03T18:35:42Z)
• Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback [52.763620660061115]
  ONIは、RLポリシーと本質的な報酬関数を同時に学習する分散アーキテクチャである。 我々は、様々な複雑さを持つ報酬モデリングのためのアルゴリズムの選択範囲を探索する。 提案手法は,NetHack Learning Environment の様々な課題にまたがって,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-30T13:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。