論文の概要: VERA: Scaling Verifiable Environments for Agentic co-Evolution
- arxiv url: http://arxiv.org/abs/2610.05923v1
- Date: Mon, 05 Oct 2026 07:41:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 03:12:25.938267
- Title: VERA: Scaling Verifiable Environments for Agentic co-Evolution
- Title(参考訳): VERA:エージェント共進化のための検証可能な環境のスケーリング
- Abstract要約: 検証可能な環境を大規模に構築し,エージェントの進化を可能にするVERAを提案する。
VERAは、報酬でモデルをトレーニングするか、ハーネススキルを編集するかの2つの更新を交互に行う。
9000以上の長期検証可能な環境のオープンソースコーパスにより、その共進化エージェントと組み合わせた9Bモデルは、2つのドメインで10.3点と13.0点の差で最強のベースラインを破る。
- 参考スコア(独自算出の注目度): 38.00288780589207
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Competent agents need precise and verifiable environments, such as sandboxes that are resumable at any stage and evolve from observable evidence. However, most long-horizon work exposes how rare these are: for example, an agent in medical research must ground a finding, classify it, and write a report over dozens of dependent steps, yet recent environments score only the outcome. To address the challenges in stable training, we present VERA, which builds such environments at scale and lets agents evolve on them. VERA builds these environments from initial trajectories: an agent writes rubrics, executable checks, a judge verifies each sandbox, and only those that pass enter the training bank. On these environments, VERA alternates between two updates: train the model with rubric rewards, or edit the harness skills. We also create a verifier which gates model checkpoints and harness edits using explicit development-set acceptance criteria. This attribution distinguishes VERA's co-evolution from single-axis baselines: its updates target not only the cause but the outcome. With an open-source corpus of 9,000+ long-horizon verifiable environments, a 9B model paired with its co-evolved agent beats the strongest baseline by 10.3 and 13.0 points in the two domains. At 27B, it surpasses the baseline on AutoCoWorkBench (71.6) and AutoMedBench (80.7), transfers to unseen workflows, and retains general capabilities.
- Abstract(参考訳): 競合するエージェントは、どの段階でも利用でき、観察可能な証拠から進化するサンドボックスのような正確で検証可能な環境を必要とする。
例えば、医学研究のエージェントは、発見を根拠に分類し、それを分類し、十数段階にわたってレポートを書く必要があるが、最近の環境は結果のみをスコアする。
安定したトレーニングの課題に対処するため、このような環境を大規模に構築し、エージェントを進化させるVERAを提案する。
エージェントはルーブリックを書き、実行可能チェックを行い、審査官は各サンドボックスを検証し、パスしたエージェントだけがトレーニングバンクに入る。
これらの環境では、VERAは2つの更新を交互に行う。
また、モデルチェックポイントをゲートし、明示的な開発セットの受け入れ基準を用いて編集を利用する検証器を作成する。
この属性は、VERAの共進化と単一軸ベースラインを区別する。
9000以上の長期検証可能な環境のオープンソースコーパスにより、その共進化エージェントと組み合わせた9Bモデルは、2つのドメインで10.3点と13.0点の差で最強のベースラインを破る。
27B では AutoCoWorkBench (71.6) と AutoMedBench (80.7) のベースラインを超え、目に見えないワークフローに転送し、一般的な機能を維持する。
関連論文リスト
- Breaking the Environment Wall: A Unified Framework for Preparing and Evolving Agent-Native Environments [14.177951970421082]
本稿では,環境とコンテキストに依存した操作を行うシステムであるEnv-Rethinkを紹介する。
コレクションマップ、イベントログを適応的に構築し、環境の根底にあるノイズ問題を特定することを学ぶ。
実験によると、Env-Rethinkは下流タスクのパフォーマンスを効果的に改善できる。
論文 参考訳(メタデータ) (2026-09-24T13:17:57Z) - SPADE: Self-Play in Adaptive Synthetic Executable Environments [110.80471334001574]
1つのLLMが2つの役割を演じるセルフプレイのRLフレームワークであるSPADEを紹介する。
Environment Designerは、OpenAI Gymスタイルのreset()/step()インターフェイスで実行可能なコードとして、完全な長距離トレーニング環境を記述する。
環境デザイナは,大規模な事前学習コーパスから採取した文書に基づいて構築し,蓄積した環境記憶を与える。
論文 参考訳(メタデータ) (2026-08-19T17:58:56Z) - OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution [71.06848799741152]
AIエージェントは、初期状態の変化が将来的な決定に影響を与える可能性のある永続的な環境で動作する。
現在の安全ベンチマークは、短い静的タスクにフォーカスするため、累積的なリスクを捕捉できないことが多い。
環境の進化を通じて、スケーラブルなエージェントレッドチームのためのオープンなアリーナであるOpenARTを紹介します。
論文 参考訳(メタデータ) (2026-08-01T13:51:55Z) - Cross-Benchmark Generalization in Long-Horizon Agents [1.0742728354283815]
我々は,27のカテゴリにわたる363の長距離モデルコンテキストプロトコル(MCP)タスク上で,オープンウェイト・ミックス・オブ・エキスパート・モデルを構築した。
トレーニングには外部ベンチマークタスクやグレーダが入らず、報酬、ハイパーパラメータのトレーニング、トレーニングされたチェックポイントの選択、停止を外部スコアが知らせなかった。
両方のソフトウェアベンチマークは、ソフトウェアエンジニアリングタスクを含まないトレーニングコレクションにもかかわらず改善されている。
論文 参考訳(メタデータ) (2026-07-31T18:05:36Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳(メタデータ) (2026-04-05T17:55:23Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳(メタデータ) (2026-01-17T01:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。