論文の概要: MC-EvoBench: Auditing Experience-Driven Self-Improvement in Minecraft Agents
- arxiv url: http://arxiv.org/abs/2610.13829v1
- Date: Fri, 09 Oct 2026 16:37:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.688647
- Title: MC-EvoBench: Auditing Experience-Driven Self-Improvement in Minecraft Agents
- Title（参考訳）: MC-EvoBench:Minecraftエージェントにおける体験駆動型自己改善の監査
- Abstract要約: 我々は、MC-EvoBenchを、19の登録された進化チェーンの固定カタログで制御されたMinecraftベンチマークとして構築する。
ベンチマークは各タスクをタスク状態グラフとして表現し、ステージレベルの環境検証を定義し、マッチしたソースとターゲットロールを割り当て、ターゲットの世界をリセットし、宣言されたエージェントアーティファクトだけがソースとターゲットの境界を越えることを許可する。
- 参考スコア（独自算出の注目度）: 10.207913068549628
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A central challenge in embodied recursive self-improvement is enabling agents to convert interaction history into capabilities that persist beyond one world and transfer to later tasks. A saved memory or successful final action does not by itself establish that a reusable capability was acquired; evaluation must separate capability change from carried-over resources, unequal source exposure, and early execution failures. We construct MC-EvoBench as a controlled Minecraft benchmark with a fixed catalog of 19 registered evolution chains, including 12 primary evaluation chains and seven calibration or probe chains, together with three graph-aligned paired probe families for transfer. The benchmark represents each task as a task-state graph, defines stage-level environment verifiers, assigns matched source and target roles, resets the target world, and permits only a declared agent artifact to cross the source-target boundary. For each probe, no-prior, related, unrelated, and shuffled source conditions are evaluated under matched environment-step budgets and five seeds; we report TSR, WGP, and VMP and retain provenance records. The benchmark reveals a consistent direct-capability gap between controller and planner-backed variants, while related experience yields no stable transfer: it does not improve either tool probe, its small wood-species gain hinges on one seed, and all intervals include zero. Stage audits further show that early wood-collection and crafting bottlenecks often leave later capabilities unobserved. MC-EvoBench thus offers a controlled testbed for durable, transferable embodied capabilities. Code and data are available at https://github.com/xzw-ustc/mc-bench-open-source
- Abstract（参考訳）: 再帰的自己改善の具体化における中心的な課題は、エージェントが相互作用履歴を1つの世界を超えて継続し、後のタスクに転送する能力に変換することである。
メモリの保存や最終的な動作の成功は、再利用可能な能力が取得されたことをそれ自体が証明するものではない。
MC-EvoBenchは,12個の一次評価チェーンと7個のキャリブレーションまたはプローブチェーンを含む19個の登録された進化チェーンの固定カタログと3つのグラフ整列プローブファミリーからなる,制御されたMinecraftベンチマークとして構築される。
ベンチマークは各タスクをタスク状態グラフとして表現し、ステージレベルの環境検証を定義し、マッチしたソースとターゲットロールを割り当て、ターゲットの世界をリセットし、宣言されたエージェントアーティファクトだけがソースとターゲットの境界を越えることを許可する。
各プローブについて,TSR,WGP,VMPを報告し,前向きな環境段階の予算と5種の種子に基づいて,事前,関連性,非関連性,シャッフルソース条件を評価した。
このベンチマークでは、コントローラとプランナーが支援する変種の間に一貫した直接的能力のギャップが明らかになっているが、関連する経験は安定な移動をもたらすことはない。
ステージ監査は、初期の木材の収集と工芸のボトルネックが、しばしば後の能力の維持を妨げていることを示している。
MC-EvoBenchは、耐久性があり、移動可能なエンボディ機能のための制御されたテストベッドを提供する。
コードとデータはhttps://github.com/xzw-ustc/mc-bench-open-sourceで公開されている。
関連論文リスト
- Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳（メタデータ） (2026-10-07T17:37:19Z) - WEFT: Scaling Tool-Use Post-Training for General-Purpose Agents [83.57238211078025]
WEFTは、環境幅、タスクの複雑さ、相互作用の多様性にまたがるエージェントインタラクションシステムの構築をスケールする。
大規模で安定した後トレーニングでは、WEFTは最適化と実行の信頼性の両方に対処する。
様々なモデルとベンチマークによる実験は、ツール使用後のトレーニングにおけるWEFTの有効性を示す。
論文 参考訳（メタデータ） (2026-09-29T07:14:53Z) - Why Does the Future Branch? Identifiable Closure Tests for Stochastic Physical World Models [0.0]
ClosurePairsは、繰り返し発生する障害を伴う互換性のあるマイクロステートを横断します。
ソースの属性は確実に回復する。
非線形相互作用ベンチマークにおける等予算分解誤差を低減する。
論文 参考訳（メタデータ） (2026-08-01T11:07:24Z) - TwistedMerge: Certified Higher-Order Diagnostics and Abstention for Model Merging [0.48086260459837454]
我々は、チェックポイントが局所対象、アライメントマップが遷移、サイクル積が残留する有限降下問題としてマージを定式化する。
提案手法は, 定数エッジのNo-go結果, フリーズ・コンプレックスの3方向およびプレファミリーの誤差制御定理, 比較・複雑感度の精査試験である。
訓練された低ランク適応型監査では, 平均化係数は選択したGLr代表に依存するが, 大域的因子同期と高密度デルタSVDは安定である。
論文 参考訳（メタデータ） (2026-07-23T03:24:50Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - Deterministic Integrity Gates for LLM-Assisted Clinical Manuscript Preparation: An Auditable Biomedical Informatics Architecture [0.3823356975862005]
検証を伴うアーキテクチャペア生成を3つの原則に基づいて記述する。
この決定論的な分割は、整合性のある分類として組織化され、中核的な貢献である。
MedSci Skillsは、43のスキルのオープンソースツールキットで、21の決定論的階層を持ち、3つのパブリックデータセットパイプラインで評価されている。
論文 参考訳（メタデータ） (2026-06-08T13:51:04Z) - Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [57.20181537213498]
Agentic Harness Engineering (AHE)は、ハーネスエンジニアリングを自動化するクローズドループである。
AHEは3つの一致した可観測性柱を通じて課題に対処する。
10 AHE lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%。
SWE-bench-verifiedでは、種子よりも12%少ないトークンで合計成功率を上回り、ターミナルベンチ2では+5.1から+10.1ppのクロスファミリーゲインを得る。
論文 参考訳（メタデータ） (2026-04-28T16:55:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。