論文の概要: Intelligent Automation for Embodied Benchmark Construction: Pipelines, Embodiments, Simulators, and Trends
- arxiv url: http://arxiv.org/abs/2606.12207v1
- Date: Wed, 10 Jun 2026 15:25:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.52634
- Title: Intelligent Automation for Embodied Benchmark Construction: Pipelines, Embodiments, Simulators, and Trends
- Title（参考訳）: ベンチマーク構築のためのインテリジェントな自動化:パイプライン、エンボディメント、シミュレータ、トレンド
- Authors: Jinshan Lai, Jianwei Hu, Baoyang Jiang, Fengchun Zhang, Leyuan Wang, Haotian Li, Yida Wang, Tingxuan Huang, Xi Ren, Qiang Ma,
- Abstract要約: エンボディード・インテリジェンス(Embodied Intelligence)は、ナビゲーション、家庭支援、操作、自律運転、航空エージェント、マルチモーダル大型モデル制御にまたがる。
この拡張により、ベンチマーク構築は信頼性評価のための中心的なボトルネックとなった。
この調査は5段階の建設パイプラインを通して文献をレビューする。
- 参考スコア（独自算出の注目度）: 10.685326391262512
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embodied intelligence now spans navigation, household assistance, manipulation, autonomous driving, aerial agents, and multimodal large-model control. This expansion has made benchmark construction a central bottleneck for reliable evaluation. Unlike static datasets, embodied benchmarks combine task specifications, environments, robot data, demonstrations, annotations, metrics, evaluation scripts, and release policies into a single evaluation system. This survey reviews the literature through a five-stage construction pipeline: requirement and task construction, data acquisition, data cleaning and annotation, benchmark suite generation and metric definition, and evaluation execution with diagnostic feedback. For each stage, the survey analyzes the transition from manual curation to traditional automation, foundation-model assistance, and agentic closed-loop workflows. It also compares qualitative construction costs across human labor, data and asset acquisition, compute and simulation, validation and debugging, governance and maintenance, and rework risk. The main conclusion is that automation does not simply reduce benchmark cost. Instead, it often shifts cost toward validation, auditability, version control, and long-term governance. Progress in embodied evaluation will therefore depend not only on larger benchmark suites, but also on construction pipelines that are diagnosable, auditable, and responsibly refreshable.
- Abstract（参考訳）: エンボディード・インテリジェンス(Embodied Intelligence)は、ナビゲーション、家庭支援、操作、自律運転、航空エージェント、マルチモーダル大型モデル制御にまたがる。
この拡張により、ベンチマーク構築は信頼性評価のための中心的なボトルネックとなった。
静的データセットとは異なり、実施中のベンチマークでは、タスク仕様、環境、ロボットデータ、デモ、アノテーション、メトリクス、評価スクリプト、リリースポリシを単一の評価システムに統合する。
本調査では,要件とタスク構築,データ取得,データクリーニングとアノテーション,ベンチマークスイートの生成とメートル法定義,診断フィードバックによる評価実行という5段階の構成パイプラインを通じて,文献をレビューする。
各ステージでは、手動キュレーションから従来の自動化、ファンデーションモデルアシスト、エージェントクローズループワークフローへの移行を分析している。
また、人的労働、データと資産獲得、計算とシミュレーション、バリデーションとデバッグ、ガバナンスとメンテナンス、再作業リスクの質的な建設コストを比較する。
主な結論は、自動化は単にベンチマークコストを削減しないということだ。
代わりに、しばしばコストを検証、監査可能性、バージョン管理、長期的なガバナンスにシフトします。
したがって、具体的評価の進歩は、より大きなベンチマークスイートだけでなく、診断可能、監査可能、そして責任を持ってリフレッシュ可能な建設パイプラインにも依存する。
関連論文リスト
- Embodied-BenchClaw: An Autonomous Multi-Agent System for Embodied Spatial Intelligence Benchmark Construction [11.402128645349379]
Embodied-BenchClawは、エンボディされた空間知能ベンチマークを構築するための自律的なエージェントシステムである。
ユーザが指定した評価意図から、Embodied-BenchClawは、完全かつ継続的に更新可能なベンチマークパッケージを自動生成する。
論文 参考訳（メタデータ） (2026-06-10T10:37:27Z) - A case study of evaluating AI agents on a neuroscience data-to-discovery pipeline [4.751533658796929]
本研究では,ハエのオプトジェネティックスデータ発見パイプラインにおける汎用コーディングエージェントの実証研究について述べる。
既存のベンチマークよりも大幅に大きいタスクのエージェント、桁違いに大きいデータセット、ドメインエキスパート標準に基づく評価基準について評価する。
エージェントが複数のパイプラインステージを解決できることを示し、ステージレベルの自動化が抽出可能であることを示唆する。
論文 参考訳（メタデータ） (2026-06-05T15:38:18Z) - Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。
ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。
5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
論文 参考訳（メタデータ） (2026-05-27T03:47:35Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - One-Eval: An Agentic System for Automated and Traceable LLM Evaluation [10.701916838477187]
One-Evalは、自然言語要求を実行可能な評価に変換するエージェント評価システムである。
One-Evalは、産業環境でより効率的で再現可能な評価をサポートする。
論文 参考訳（メタデータ） (2026-03-10T15:45:51Z) - Agentic AI for Self-Driving Laboratories in Soft Matter: Taxonomy, Benchmarks,and Open Challenges [8.153488410654004]
自動運転研究所(SDL)は、実験設計、自動実行、データ駆動意思決定の間のループを閉じる。
この調査は、ソフトマターを代表的設定として使用するが、実際の研究室で発生するAI質問に焦点を当てる。
論文 参考訳（メタデータ） (2026-01-25T17:44:19Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳（メタデータ） (2023-06-23T17:59:09Z) - ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。
これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。
本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
論文 参考訳（メタデータ） (2022-12-15T15:52:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。