論文の概要: ClawLoop: Self-Improving Agents via Harness-Native Training Loop
- arxiv url: http://arxiv.org/abs/2610.14118v1
- Date: Fri, 09 Oct 2026 08:52:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.012494
- Title: ClawLoop: Self-Improving Agents via Harness-Native Training Loop
- Title（参考訳）: ClawLoop:Harness-Native Training Loopによる自己改善エージェント
- Abstract要約: ClawLoopは外部教師モデルと最小限の事前依存を伴わずに自己改善が可能なフレームワークである。
ClawLoopは、タスク合成、トレーニング、診断、フィードバックという3つのフェーズを自己維持サイクルに構成する。
Qwen3.6-27Bをループモデルとし、ClawLoopはSkillsBench、Claw-Eval-Live、ClawGym-Benchを一貫して改善した。
- 参考スコア（独自算出の注目度）: 23.47259168771743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid advancement of Large Language Models (LLMs) has driven their deployment toward general-purpose harness environments, where LLM-based agents operate in sandbox workspaces and interact directly with file systems and shells. While numerous post-training pipelines exist for tool-use agents, their counterparts for harness-based agents remain scarce and are predominantly one-shot and teacher-dependent: a stronger external model synthesizes tasks and collects trajectories, the target agent is trained once, and evaluation results are consumed by human researchers rather than fed back into the loop. Such pipelines are inherently bounded by the capability of the external model and the scope of human prior, leaving no room for self-improvement. To address these limitations, we propose ClawLoop, a framework that enables self-improving without any external teacher model and with minimal prior dependencies. ClawLoop composes three phases into a self-sustaining cycle: Task Synthesis, which generates a diverse pool of training tasks via two complementary construction routines, applies diagnosis-conditioned difficulty growth followed by both agent-free and agent-based task validation; Training, which updates the agent via SFT and/or RL; and Diagnosis and Feedback, which analyzes the agent's rollout behaviors to produce a capability analysis report that will be used as feedback for task synthesis in the next iteration. Using Qwen3.6-27B as the loop model, ClawLoop yields consistent improvements on SkillsBench, Claw-Eval-Live, and ClawGym-Bench. The iteratively refined tasks are further transferred to smaller-scale Qwen3.5-4B and 9B models with gains across all benchmarks, validating data quality independently of the loop model.
- Abstract（参考訳）: LLM(Large Language Models)の急速な進歩により、LLMベースのエージェントがサンドボックスのワークスペースで動作し、ファイルシステムやシェルと直接対話する汎用ハーネス環境への展開が加速した。
ツール・ユース・エージェントのための訓練後パイプラインは数多く存在するが、ハーネス・ベースのエージェントには不足しており、主に単発で教師に依存している:強力な外部モデルがタスクを合成し、軌跡を収集し、ターゲットエージェントは一度訓練され、評価結果はループにフィードバックされるのではなく、人間の研究者によって消費される。
このようなパイプラインは本質的に、外部モデルの能力と人間の事前のスコープによって境界付けられており、自己改善の余地は残っていない。
これらの制約に対処するため、外部教師モデルや最小の事前依存なしに自己改善が可能なフレームワークであるClawLoopを提案する。
ClawLoopは、自己維持サイクルに3つのフェーズを構成している: タスク合成は、2つの補完的な構成ルーチンを通じて多様なトレーニングタスクのプールを生成し、診断条件付き難易度成長を適用し、エージェントフリーおよびエージェントベースタスクバリデーションの両方に続き、エージェントをSFTおよび/またはRLで更新するトレーニング、エージェントのロールアウト動作を分析し、次のイテレーションでタスク合成のフィードバックとして使用される機能分析レポートを生成する。
Qwen3.6-27Bをループモデルとし、ClawLoopはSkillsBench、Claw-Eval-Live、ClawGym-Benchを一貫して改善した。
繰り返し改良されたタスクは、より小型のQwen3.5-4Bおよび9Bモデルに転送され、全てのベンチマークでゲインされ、ループモデルとは独立してデータ品質が検証される。
関連論文リスト
- Recursive Self-Improvement through Multi-Agent Self-Supervision [34.59736878497665]
オープンエンドリサーチのような検証不可能なタスクに関するモデルの帰納的自己改善(RSI)は、そのアウトプットが人間の専門家でさえ確実に評価できるものを超えた場合、監督のボトルネックに直面します。
進化的ワークフロー最適化と自己生成トラジェクトリの教師付き微調整を交互に行うRSI手法であるMulti-Agent Self-Supervision (MASS)を提案する。
論文 参考訳（メタデータ） (2026-10-08T15:44:02Z) - WEFT: Scaling Tool-Use Post-Training for General-Purpose Agents [83.57238211078025]
WEFTは、環境幅、タスクの複雑さ、相互作用の多様性にまたがるエージェントインタラクションシステムの構築をスケールする。
大規模で安定した後トレーニングでは、WEFTは最適化と実行の信頼性の両方に対処する。
様々なモデルとベンチマークによる実験は、ツール使用後のトレーニングにおけるWEFTの有効性を示す。
論文 参考訳（メタデータ） (2026-09-29T07:14:53Z) - Harnessing LLM Agents with Skill Programs [58.356514745548026]
HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。
PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。
HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
論文 参考訳（メタデータ） (2026-05-18T01:35:11Z) - KARL: Knowledge Agents via Reinforcement Learning [63.627906947205624]
本稿では,強化学習による企業検索エージェントの訓練システムを提案する。
KARLBenchは、6つの異なる検索レギュレーションにまたがる多機能評価スイートである。
異種探索行動で訓練されたモデルは、どのベンチマークにも最適化されたモデルよりもかなりよく一般化されていることを示す。
論文 参考訳（メタデータ） (2026-03-05T14:30:25Z) - AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。
我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
論文 参考訳（メタデータ） (2026-02-08T10:55:03Z) - From Self-Evolving Synthetic Data to Verifiable-Reward RL: Post-Training Multi-turn Interactive Tool-Using Agents [23.583947864141162]
EigenDataは階層的なマルチエージェントエンジンで、ツール基底の対話と実行可能なインスタンスごとのチェッカーを合成する。
合成データに基づいて、まずユーザモデルを微調整し、GRPOスタイルのトレーニングを適用するRLレシピを開発する。
以上の結果から,高価なアノテーションを使わずに,複雑なツールの動作をブートストラップするためのスケーラブルな経路が示唆された。
論文 参考訳（メタデータ） (2026-01-30T06:01:23Z) - Agent2World: Learning to Generate Symbolic World Models via Adaptive Multi-Agent Feedback [51.22403664895878]
Agent2Worldは、強力な推論時ワールドモデル生成を実現するツール拡張マルチエージェントフレームワークである。
また、マルチエージェントフィードバックの生成を基盤にすることで、教師付き微調整のためのデータエンジンとしても機能する。
論文 参考訳（メタデータ） (2025-12-26T18:54:14Z) - Klear-AgentForge: Forging Agentic Intelligence through Posttraining Scaling [46.593200463657645]
我々は,Klear-Qwen3-AgentForgeという高性能エージェントモデルを学習するための,包括的で完全なオープンソースパイプラインを提案する。
合成データを用いた効率的な教師付き微調整(SFT)とマルチターン強化学習(RL)を併用し,多種多様なエージェントタスクの可能性を解き放つ。
論文 参考訳（メタデータ） (2025-11-08T09:47:27Z) - Reinforcement Learning for Machine Learning Engineering Agents [52.03168614623642]
強化学習によって改善される弱いモデルによって支援されるエージェントは、はるかに大きいが静的モデルによって支援されるエージェントよりも優れていることを示す。
分散非同期RLフレームワークにおいて,高コストかつ高利回りな動作を増幅するための時間依存性の勾配更新を提案する。
また,早期に失敗するプログラムとほぼ正しくないプログラムを区別し,部分クレジットを提供する環境機器を提案する。
論文 参考訳（メタデータ） (2025-09-01T18:04:10Z) - Agent-R: Training Language Model Agents to Reflect via Iterative Self-Training [18.896813839389893]
本稿では,言語エージェントをオンザフライでリフレクション可能な反復型自己学習フレームワーク,Agent-Rを提案する。
Agent-Rは、正しさに基づいてアクションを報酬または罰揚する従来の方法とは異なり、MCTSを活用して、誤ったトラジェクトリから正しいトラジェクトリを復元するトレーニングデータを構築する。
以上の結果から,Agent-Rは連続的にエラーから回復し,タイムリーなエラー訂正を可能にすることが示唆された。
論文 参考訳（メタデータ） (2025-01-20T11:46:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。