論文の概要: EvoHarness-RL: Learning Self-Evolving Runtime Harness for Long-Horizon LLM Agents

• arxiv url: http://arxiv.org/abs/2608.05446v1
• Date: Wed, 05 Aug 2026 22:29:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.80463
• Title: EvoHarness-RL: Learning Self-Evolving Runtime Harness for Long-Horizon LLM Agents
• Title（参考訳）: EvoHarness-RL:長期LDMエージェントのための自己進化型実行時ハーネスの学習
• Abstract要約: 長期のLDMエージェントは、状態の維持、進捗の追跡、ツールの呼び出し、結果の検証、インタラクション間のエクスペリエンスの再利用など、外部実行のサポートにますます依存している。 効果的なハーネス利用は、ノイズの多い相互作用トレースからの状態形成と、外部状態アクセスの制御という2つの課題を提起する。 本稿では,BPE(Breief Progress, and Experience)を政策対応型ハーネス状態として公開するEvoHarness-RLを紹介する。改良されたハーネスファインタニングは,基本エージェントにハーネスアクション空間と有用な外部状態の構築方法を教える一方で,コスト意識のGRPOは,長期的相互作用の間,その状態を選択的に読み,更新し,統合するコーディネーションポリシーを探求する。
• 参考スコア（独自算出の注目度）: 103.43357674316316
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Long-horizon LLM agents increasingly rely on external execution support to maintain state, track progress, invoke tools, verify outcomes, and reuse experience across interactions. However, effective harness use raises two coupled challenges: state formation from noisy interaction traces and runtime control over external-state access. Existing agents usually handle both through prompts, heuristics, or domain-specific conventions, leaving the external workspace and its usage policy manually engineered. To address this, we study the problem of harness policy learning, where agents learn harness policies offline and deploy them to construct and update external harness state online during runtime task execution. We introduce EvoHarness-RL, which exposes Belief, Progress, and Experience (BPE) as policy-facing harness state. Supervised harness fine-tuning teaches the base agent the harness action space and how to construct useful external state, while cost-aware GRPO explores coordination policies to selectively read, update, and consolidate that state during long-horizon interaction. Instantiated on ALFWorld with a Qwen3-8B LLM, EvoHarness-RL reaches 96.9% success and reveals two key dynamics: harness annealing, where training internalizes recurring harness-use patterns into the model policy and shifts the agent from frequent harness calls toward selective external-state access, and harness evolution, where progress updates and experience consolidation refine the harness into a compact, task-adaptive state substrate. These results suggest that long-horizon agents benefit from trainable policies for constructing and coordinating with external harness workspaces, beyond simply adding stronger tools or larger memories.
• Abstract（参考訳）: 長期のLDMエージェントは、状態の維持、進捗の追跡、ツールの呼び出し、結果の検証、インタラクション間のエクスペリエンスの再利用など、外部実行のサポートにますます依存している。 しかし、効果的なハーネス利用は、ノイズの多いインタラクショントレースからの状態生成と、外部状態アクセスに対するランタイム制御という、2つの複合的な課題を提起する。 既存のエージェントは通常、プロンプト、ヒューリスティック、ドメイン固有の規約を通じて処理し、外部のワークスペースとその利用ポリシーを手作業で設計する。 そこで、エージェントはポリシーをオフラインで学習し、実行時タスク実行中に外部のハーネス状態を構築し、更新するためにそれらをデプロイする。 本稿では,BPE(Breief, Progress, and Experience)を政策対応型ハーネスステートとして公開するEvoHarness-RLを紹介する。 監視されたハーネス微調整は、ベースエージェントにハーネスアクション空間と有用な外部状態の構築方法を教える一方で、コストを意識したGRPOは、長い水平相互作用の間、その状態を選択的に読み、更新し、統合するための調整ポリシーを探求する。 Qwen3-8B LLMでALFWorldで実証されたEvoHarness-RLは、96.9%の成功を達成し、2つの主要なダイナミクスを明らかにしている。 これらの結果は、より強力なツールやより大きな記憶を追加するだけでなく、外部ハーネスワークスペースの構築と調整のための訓練可能なポリシーの恩恵を受けていることを示唆している。

関連論文リスト

• SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment [51.263370090136696]
  エージェント安全アライメントのための経験駆動型フレームワークであるSafeEvolveを提案する。 我々は、完了したオン・ポリティィ・トラジェクトリから安全経験を活用して、ハーネス・ポリティ共進化の継続ループを駆動する。 Qwen3.5-4B の場合、SafeEvolve は AgentDojo の 3 倍の ASR 削減を実現し、良質なユーティリティを 59.79% から 61.86% に改善した。
  論文  参考訳（メタデータ） (2026-09-02T16:19:54Z)
• EDGE: Experience-Distillation for Guided Exploration in Agentic Reinforcement Learning [25.200068256200293]
  インタラクショントラジェクトリに埋め込まれた再利用可能な探索パターンは、単一のポリシー更新後に大部分が破棄される。 本研究では,検索した経験を仮訓練時の足場として扱うフレームワークであるEDGE(Experience-Distillation for Guided Exploration)を提案する。 EDGEは強力なRLベースラインを最大12.5ポイント改善し、推論時の足場やプロプライエタリなリフレクタを使わずに有効である。
  論文  参考訳（メタデータ） (2026-08-22T13:16:25Z)
• EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning [57.312638079204255]
  長期ツール使用のための大規模言語モデルエージェントの訓練は、通常、実または合成可能な環境との相互作用に依存する。 本研究では,世界リハーサルのトレーニング中に外部環境の相互作用を置き換えるエージェント強化学習手法であるEnvACEを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T15:54:36Z)
• From Outcomes to Actions: Leveraging Hindsight for Long-Horizon Language Agent Training [55.744284393275926]
  強化学習(RL)は,複雑なタスクにおいて大規模言語モデル(LLM)を改善する手法として広く採用されている。 既存のRL法は、長い水平相互作用を持つ訓練エージェントの課題に直面している。 本稿では,現在の政策分布と後向き分布の両方を意図空間に投影する,新しい政策勾配法,HPO(Hindsight Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-06-28T08:35:47Z)
• Joint Learning of Experiential Rules and Policies for Large Language Model Agents [5.144286041118895]
  LLMエージェント(JERP)における経験則と政策の連成学習 JERPは、長期間の経験則プールと、同じ相互作用軌道からポリシーを更新する。 AlfWorldとWebShopの実験では、複雑な対話的なタスクに対して、JERPは決定性能において一貫した利益をもたらすことが示されている。
  論文  参考訳（メタデータ） (2026-06-25T15:11:02Z)
• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols and Harness Engineering [55.93186934265401]
  大規模言語モデル(LLM)エージェントは、その周辺のランタイムを再編成するよりも、モデルウェイトを変更することによって構築されるものが少なくなる。 本稿では、外部化のレンズを通してのシフトをレビューする。 エージェントインフラストラクチャは、補助的なコンポーネントを追加するだけでなく、ハード認知の負担をモデルがより確実に解決できる形式に変換するからである、と我々は主張する。
  論文  参考訳（メタデータ） (2026-04-09T13:19:41Z)
• EvolveR: Self-Evolving LLM Agents through an Experience-Driven Lifecycle [26.048906477714937]
  現在のLLM(Large Language Model)エージェントは、ツール使用時のパフォーマンスは高いが、自身の経験から体系的に学習する能力は欠如している。 EvolveRは、エージェントが完全なクローズドループ体験ライフサイクルを通じて自己改善できるように設計されたフレームワークである。 複雑なマルチホップ質問応答ベンチマークにおけるEvolveRの有効性を示す。
  論文  参考訳（メタデータ） (2025-10-17T12:03:16Z)
• Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization [53.510942601223626]
  大規模言語モデル(LLM)は多様なタスクに対して堅牢な問題解決能力を示す。 これらのタスクソルバは、タスクルールを通知し、行動を調整するために手作業によるプロンプトを必要とする。 本稿では,ポリシーレベルのリフレクションと最適化を備えた LLM ベースのエージェントである Agent-Pro を提案する。
  論文  参考訳（メタデータ） (2024-02-27T15:09:20Z)
• Data Valuation for Offline Reinforcement Learning [1.3535770763481902]
  オフライン強化学習の分野は、データの収集をドメインの専門家や注意深く監視されたプログラムにアウトソーシングすることで問題に対処する。 データマーケットの出現に伴い、社内でデータセットを構築する代替手段として、外部データを購入することが挙げられる。 これにより、外部から取得したデータに基づいてトレーニングされたオフライン強化学習エージェントの転送可能性と堅牢性に関する疑問が提起される。
  論文  参考訳（メタデータ） (2022-05-19T13:21:40Z)
• Constraint-Guided Reinforcement Learning: Augmenting the Agent-Environment-Interaction [10.203602318836445]
  強化学習(RL)エージェントは、限られたフィードバックから大きな観察とアクションスペースでタスクを解決することに成功しています。 本稿では,制約に基づく拡張モデルと深部RLの統合による信頼性エージェントのエンジニアリングについて論じる。 その結果、制約ガイダンスは信頼性の向上と安全な行動を提供するだけでなく、トレーニングを加速する。
  論文  参考訳（メタデータ） (2021-04-24T10:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。