論文の概要: Continual Harness: Online Adaptation for Self-Improving Foundation Agents
- arxiv url: http://arxiv.org/abs/2605.09998v1
- Date: Mon, 11 May 2026 05:21:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.540913
- Title: Continual Harness: Online Adaptation for Self-Improving Foundation Agents
- Title（参考訳）: 継続的なハーネス: 自己改善型ファウンデーションエージェントのためのオンライン適応
- Abstract要約: 連続ハーネス(Continuous Harness)は、エンボディエージェントのためのリセットのない自己改善ハーネスである。
Pokemon Redでは、トレーニングイテレーション間の環境をリセットすることなく、ゲーム内でのマイルストーンを達成している。
- 参考スコア（独自算出の注目度）: 21.599574507129365
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Coding harnesses such as Claude Code and OpenHands wrap foundation models with tools, memory, and planning, but no equivalent exists for embodied agents' long-horizon partial-observability decision-making. We first report our Gemini Plays Pokemon (GPP) experiments. With iterative human-in-the-loop harness refinement, GPP became the first AI system to complete Pokemon Blue, Yellow Legacy on hard mode, and Crystal without a lost battle. In the hardest stages, the agent itself began iterating on its strategy through long-context memory, surfacing emergent self-improvement signals alongside human-in-the-loop refinement. Continual Harness removes the human fully from this loop: a reset-free self-improving harness for embodied agents that formalizes and automates what we observed. Starting from only a minimal environment interface, the agent alternates between acting and refining its own prompt, sub-agents, skills, and memory, drawing on any past trajectory data. Prompt-optimization methods require episode resets; Continual Harness adapts online within a single run. On Pokemon Red and Emerald across frontier models, Continual Harness starting from scratch substantially reduces button-press cost relative to the minimalist baseline and recovers a majority of the gap to a hand-engineered expert harness, with capability-dependent gains, despite starting from the same raw interface with no curated knowledge, no hand-crafted tools, and no domain scaffolding. We then close the loop with the model itself: an online process-reward co-learning loop, in which an open-source agent's rollouts through the refining harness are relabeled by a frontier teacher and used to update the model, drives sustained in-game milestone progress on Pokemon Red without resetting the environment between training iterations.
- Abstract（参考訳）: Claude CodeやOpenHandsといったコーディングハーネスは、基礎モデルをツール、メモリ、プランニングでラップするが、エンボディされたエージェントの長い水平部分可観測性決定に匹敵するものは存在しない。
Gemini Plays Pokemon(GPP)実験を最初に報告する。
繰り返し人力ハーネスの改良により、GPPはポケモンブルー、イエローレガシーをハードモードで完成する最初のAIシステムとなった。
最も困難な段階では、エージェントは長いコンテキスト記憶を通じてその戦略を反復し始め、人間とループの洗練と共に創発的な自己改善信号に遭遇した。
連続的ハーネス(Continuous Harness)は、人間を完全にこのループから取り除きます。
最小限の環境インターフェースから始めて、エージェントは自身のプロンプト、サブエージェント、スキル、メモリの動作と精製を交互に行い、過去の軌跡データに描画する。
プロンプト最適化手法はエピソードのリセットを必要とし、連続的ハーネスは1回のランでオンラインで適応する。
Pokemon RedとEmeraldがフロンティアモデルを越えた場合、スクラッチから始まるContinuous Harnessは、最小限のベースラインに対するボタン押しコストを大幅に削減し、手書きのエキスパートハーネスへのギャップの大部分を回復する。
オンライン・プロセス・リワード・コラーニング・ループでは、オープンソースのエージェントのリファインハーネスによるロールアウトがフロンティアの教師によって緩和され、モデルの更新に使用される。
関連論文リスト
- Harness Continual Learning: Continual Adaptation Beyond Model Parameters [9.54786133734043]
我々は、凍結基盤モデルを中心にハーネスが進化する新しい連続学習パラダイムを定式化する。
候補者は、現在の改善、履歴保持、有効性を確認した後にのみハーネスをコミットする。
実験では、複数の設定で対応するベースラインに対して、相対的なゲインが10%を超える能力の蓄積と障害回復が示されている。
論文 参考訳（メタデータ） (2026-08-19T15:12:31Z) - Zetta $ζ$: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence [35.97081339163319]
エンボディードエージェントは、エンドツーエンドのポリシーモデルによって残されたギャップを埋めるために、ますます使われています。
既存のハーネスはほとんどオープンループのままで、ロールアウト中に一定のスキルを身につけ、エピソードが完成した後にのみ反映される。
コードベースのランタイム批判とリカバリスキルをオンラインで進化させるクローズドループエンボディハーネスであるZettaを紹介します。
論文 参考訳（メタデータ） (2026-08-17T13:49:43Z) - EvoHIL: Self-Evolving Reward and Flow-Matched Policy Optimization for Robust Human-in-the-Loop Reinforcement Learning [14.891400906901433]
EvoHILは、報酬モデル、アクションジェネレータ、ヴィジュアルドメインを、段階的なヒューマン・イン・ザ・ループ学習プロセスに適合させる統一されたフレームワークである。
タスクの成功、人間確認ラベルとの合意、動作のスムーズさ、ループ中の人間と模倣のベースラインに対する完了時間を改善する。
論文 参考訳（メタデータ） (2026-08-04T16:12:05Z) - Living-Harness Is an Interactive-Agent Evolver [15.081919387954578]
大規模言語モデル(LLM)エージェントは、エピソード内の障害や再試行後に回復する可能性があるが、同じ実行失敗は後続のタスクで再帰する可能性がある。
我々は,各軌道とその評価器信号を有界なハーネス更新のための後続証拠に変換する自己進化型エージェントハーネスである$textbfLiving-Harnessを提案する。
論文 参考訳（メタデータ） (2026-07-29T08:20:11Z) - HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry [35.87794858139959]
HarnessXは、構成可能、適応可能、進化可能なエージェントハーネス用のファウンダリーである。
型付きハーネスプリミティブを置換代数学で組み立て、AIGISを介して適応する。
軌道をハーネス更新とモデルトレーニング信号の両方に変換することでハーネスモデルループを閉じる。
論文 参考訳（メタデータ） (2026-06-12T08:27:11Z) - Dynamic Mixture of Latent Memories for Self-Evolving Agents [57.20419419302731]
MoLEMは、動的混合(MoE)に基づく潜在メモリフレームワークの生成混合物である。
我々は、数学、科学、コードドメインにまたがる連続的な学習シーケンスに基づいて、このフレームワークを訓練する。
連続学習を完了した後、Vanilla事前学習ベースラインよりも平均精度を10.40%向上させる。
論文 参考訳（メタデータ） (2026-05-21T03:35:10Z) - CausalCine: Real-Time Autoregressive Generation for Multi-Shot Video Narratives [117.85963914353904]
CausalCineはインタラクティブな自動回帰フレームワークで、マルチショットビデオ生成をオンラインのディレクティブプロセスに変換する。
CausalCineはショット変更を因果的に生成し、動的プロンプトをオンザフライで受け付け、以前のショットを再生することなくコンテキストを再利用する。
論文 参考訳（メタデータ） (2026-05-12T17:59:51Z) - RADAR: Closed-Loop Robotic Data Generation via Semantic Planning and Autonomous Causal Environment Reset [48.645870795753105]
ロボットのためのロバスト自動データ取得(RADAR)について紹介する。
RADARは完全に自律的でクローズドループのデータ生成エンジンで、収集サイクルから人間の介入を完全に取り除きます。
シミュレーションでは、複雑な長期タスクにおいて、最大90%の成功率を達成する。
論文 参考訳（メタデータ） (2026-03-12T11:18:52Z) - Continual Learning for non-stationary regression via Memory-Efficient Replay [1.5749416770494706]
オンラインタスクフリー連続回帰のためのプロトタイプベース生成再生フレームワークを提案する。
提案手法は適応的な出力空間の離散化モデルを定義し, 原データを保存することなく, 連続回帰のためのプロトタイプベースの生成再生を可能にする。
論文 参考訳（メタデータ） (2026-02-10T12:22:59Z) - UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning [78.86567400365392]
オフライン軌道上でオンラインRLをシミュレートする新しいパラダイムであるセミオンライン強化学習を提案する。
長期トレーニング信号をキャプチャするために、Semi-online RLは報酬計算に割引先を返す。
実験の結果,Semi-online RLは4つの動的ベンチマークで7Bモデル間でSOTA性能を実現することがわかった。
論文 参考訳（メタデータ） (2025-09-15T03:24:08Z) - Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。
この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。
本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
論文 参考訳（メタデータ） (2024-09-04T08:21:47Z) - Automating Reinforcement Learning with Example-based Resets [19.86233948960312]
既存の強化学習アルゴリズムは、エージェントが各エピソードの最後に固定された初期状態分布にリセットするエピソード設定を仮定する。
本稿では,自己指導型リセット学習を行うエージェントを導入することで,従来の強化学習をより大きな自律性に向けて拡張することを提案する。
シミュレーションおよび実世界の連続制御タスクをスクラッチから学習するために本手法を適用し,手動リセットを減らすために,リセットエージェントがうまく学習できることを実証する。
論文 参考訳（メタデータ） (2022-04-05T08:12:42Z) - Offline-to-Online Reinforcement Learning via Balanced Replay and
Pessimistic Q-Ensemble [135.6115462399788]
深いオフライン強化学習により、オフラインデータセットから強力なロボットエージェントをトレーニングすることが可能になった。
状態-作用分布シフトは、微調整中に厳しいブートストラップエラーを引き起こす可能性がある。
本稿では,オンライン上で遭遇したサンプルを優先しながら,ほぼ政治的なサンプルの使用を奨励するバランスの取れたリプレイ方式を提案する。
論文 参考訳（メタデータ） (2021-07-01T16:26:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。