論文の概要: Continual Harness: Online Adaptation for Self-Improving Foundation Agents

• arxiv url: http://arxiv.org/abs/2605.09998v1
• Date: Mon, 11 May 2026 05:21:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.540913
• Title: Continual Harness: Online Adaptation for Self-Improving Foundation Agents
• Title（参考訳）: 継続的なハーネス: 自己改善型ファウンデーションエージェントのためのオンライン適応
• Authors: Seth Karten, Joel Zhang, Tersoo Upaa, Ruirong Feng, Wenzhe Li, Chengshuai Shi, Chi Jin, Kiran Vodrahalli,
• Abstract要約: 連続ハーネス(Continuous Harness)は、エンボディエージェントのためのリセットのない自己改善ハーネスである。 Pokemon Redでは、トレーニングイテレーション間の環境をリセットすることなく、ゲーム内でのマイルストーンを達成している。
• 参考スコア（独自算出の注目度）: 21.599574507129365
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Coding harnesses such as Claude Code and OpenHands wrap foundation models with tools, memory, and planning, but no equivalent exists for embodied agents' long-horizon partial-observability decision-making. We first report our Gemini Plays Pokemon (GPP) experiments. With iterative human-in-the-loop harness refinement, GPP became the first AI system to complete Pokemon Blue, Yellow Legacy on hard mode, and Crystal without a lost battle. In the hardest stages, the agent itself began iterating on its strategy through long-context memory, surfacing emergent self-improvement signals alongside human-in-the-loop refinement. Continual Harness removes the human fully from this loop: a reset-free self-improving harness for embodied agents that formalizes and automates what we observed. Starting from only a minimal environment interface, the agent alternates between acting and refining its own prompt, sub-agents, skills, and memory, drawing on any past trajectory data. Prompt-optimization methods require episode resets; Continual Harness adapts online within a single run. On Pokemon Red and Emerald across frontier models, Continual Harness starting from scratch substantially reduces button-press cost relative to the minimalist baseline and recovers a majority of the gap to a hand-engineered expert harness, with capability-dependent gains, despite starting from the same raw interface with no curated knowledge, no hand-crafted tools, and no domain scaffolding. We then close the loop with the model itself: an online process-reward co-learning loop, in which an open-source agent's rollouts through the refining harness are relabeled by a frontier teacher and used to update the model, drives sustained in-game milestone progress on Pokemon Red without resetting the environment between training iterations.
• Abstract（参考訳）: Claude CodeやOpenHandsといったコーディングハーネスは、基礎モデルをツール、メモリ、プランニングでラップするが、エンボディされたエージェントの長い水平部分可観測性決定に匹敵するものは存在しない。 Gemini Plays Pokemon(GPP)実験を最初に報告する。 繰り返し人力ハーネスの改良により、GPPはポケモンブルー、イエローレガシーをハードモードで完成する最初のAIシステムとなった。 最も困難な段階では、エージェントは長いコンテキスト記憶を通じてその戦略を反復し始め、人間とループの洗練と共に創発的な自己改善信号に遭遇した。 連続的ハーネス(Continuous Harness)は、人間を完全にこのループから取り除きます。 最小限の環境インターフェースから始めて、エージェントは自身のプロンプト、サブエージェント、スキル、メモリの動作と精製を交互に行い、過去の軌跡データに描画する。 プロンプト最適化手法はエピソードのリセットを必要とし、連続的ハーネスは1回のランでオンラインで適応する。 Pokemon RedとEmeraldがフロンティアモデルを越えた場合、スクラッチから始まるContinuous Harnessは、最小限のベースラインに対するボタン押しコストを大幅に削減し、手書きのエキスパートハーネスへのギャップの大部分を回復する。 オンライン・プロセス・リワード・コラーニング・ループでは、オープンソースのエージェントのリファインハーネスによるロールアウトがフロンティアの教師によって緩和され、モデルの更新に使用される。

関連論文リスト

• RADAR: Closed-Loop Robotic Data Generation via Semantic Planning and Autonomous Causal Environment Reset [48.645870795753105]
  ロボットのためのロバスト自動データ取得(RADAR)について紹介する。 RADARは完全に自律的でクローズドループのデータ生成エンジンで、収集サイクルから人間の介入を完全に取り除きます。 シミュレーションでは、複雑な長期タスクにおいて、最大90%の成功率を達成する。
  論文  参考訳（メタデータ） (2026-03-12T11:18:52Z)
• Continual Learning for non-stationary regression via Memory-Efficient Replay [1.5749416770494706]
  オンラインタスクフリー連続回帰のためのプロトタイプベース生成再生フレームワークを提案する。 提案手法は適応的な出力空間の離散化モデルを定義し, 原データを保存することなく, 連続回帰のためのプロトタイプベースの生成再生を可能にする。
  論文  参考訳（メタデータ） (2026-02-10T12:22:59Z)
• UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning [78.86567400365392]
  オフライン軌道上でオンラインRLをシミュレートする新しいパラダイムであるセミオンライン強化学習を提案する。 長期トレーニング信号をキャプチャするために、Semi-online RLは報酬計算に割引先を返す。 実験の結果,Semi-online RLは4つの動的ベンチマークで7Bモデル間でSOTA性能を実現することがわかった。
  論文  参考訳（メタデータ） (2025-09-15T03:24:08Z)
• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Automating Reinforcement Learning with Example-based Resets [19.86233948960312]
  既存の強化学習アルゴリズムは、エージェントが各エピソードの最後に固定された初期状態分布にリセットするエピソード設定を仮定する。 本稿では,自己指導型リセット学習を行うエージェントを導入することで,従来の強化学習をより大きな自律性に向けて拡張することを提案する。 シミュレーションおよび実世界の連続制御タスクをスクラッチから学習するために本手法を適用し,手動リセットを減らすために,リセットエージェントがうまく学習できることを実証する。
  論文  参考訳（メタデータ） (2022-04-05T08:12:42Z)
• Offline-to-Online Reinforcement Learning via Balanced Replay and Pessimistic Q-Ensemble [135.6115462399788]
  深いオフライン強化学習により、オフラインデータセットから強力なロボットエージェントをトレーニングすることが可能になった。 状態-作用分布シフトは、微調整中に厳しいブートストラップエラーを引き起こす可能性がある。 本稿では,オンライン上で遭遇したサンプルを優先しながら,ほぼ政治的なサンプルの使用を奨励するバランスの取れたリプレイ方式を提案する。
  論文  参考訳（メタデータ） (2021-07-01T16:26:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。