論文の概要: MESA: An Evaluation Framework for Compositional, Semantic, and Spatial Generalization in Robotics

• arxiv url: http://arxiv.org/abs/2611.05567v1
• Date: Tue, 03 Nov 2026 20:01:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.834539
• Title: MESA: An Evaluation Framework for Compositional, Semantic, and Spatial Generalization in Robotics
• Title（参考訳）: MESA:ロボティクスにおける構成的,意味的,空間的一般化のための評価フレームワーク
• Abstract要約: 本稿では,言語条件付き政策一般化の正確かつ再現可能な測定を目的とした評価フレームワークMESAを紹介する。 MESAは、分散性能を分離する5つの評価スイートと、一般化の4つの異なる軸を提供する。 我々はこのフレームワークを2つのプラットフォーム上でインスタンス化し、シングルアームMESAスイートとバイマンダル一般化のための最初の大規模ベンチマークであるBiMESAの両方をリリースする。
• 参考スコア（独自算出の注目度）: 24.307363682829386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite growing interest in foundation models for robotic manipulation, systematic evaluation of their capabilities remains elusive. Existing benchmarks are either narrow and saturated, offering little signal on SOTA methods, broadly scoped, providing diversity at the cost of controlled experimentation, or require training on large, messy open-source datasets. We introduce MESA, an evaluation framework designed for precise, reproducible measurement of language-conditioned policy generalization. MESA provides five evaluation suites that isolate in-distribution performance and four distinct axes of generalization: spatial configuration, object instance, object category, and subtask composition, enabling researchers to diagnose where and why policies fail, not just whether they fail. To populate these suites at scale, we develop MESA-Gen, a pipeline for task and demonstration generation built by improving MimicGen. We instantiate the framework on two platforms and release both: the single-arm MESA suite, and BiMESA, the first large-scale benchmark for bimanual generalization. We evaluate seven baseline methods spanning diffusion policies, VLM-based approaches, and pretrained VLAs, finding that the strongest model achieves only 52% on MESA and 49% on BiMESA, providing meaningful signal while leaving ample room for progress. MESA rankings are broadly consistent with RoboArena scores, suggesting that MESA captures method-level differences relevant beyond simulation. Project website: https://pairlab.github.io/MESA.
• Abstract（参考訳）: ロボット操作の基礎モデルへの関心が高まりつつあるにもかかわらず、その能力の体系的評価はいまだに解明されていない。 既存のベンチマークは狭く飽和しており、SOTAメソッドの信号はほとんど提供せず、広い範囲で提供し、制御された実験コストで多様性を提供するか、大規模で散らかったオープンソースのデータセットのトレーニングを必要とする。 本稿では,言語条件付き政策一般化の正確かつ再現可能な測定を目的とした評価フレームワークMESAを紹介する。 MESAは、分散性能を分離する5つの評価スイートと、空間構成、オブジェクトインスタンス、オブジェクトカテゴリ、サブタスク構成の4つの異なる一般化の軸を提供する。 これらのスイートを大規模に投入するために,MimicGenの改良によって構築されたタスクおよびデモ生成のためのパイプラインであるMESA-Genを開発した。 我々はこのフレームワークを2つのプラットフォーム上でインスタンス化し、シングルアームMESAスイートとバイマンダル一般化のための最初の大規模ベンチマークであるBiMESAの両方をリリースする。 拡散ポリシ, VLM に基づくアプローチ, 事前訓練された VLA を対象とし, 最強モデルは MESA で52%, BiMESA で49% に留まり, 進行のための十分な余地を残しながら有意義な信号を提供する。 MESAランキングはRoboArenaスコアと大きく一致しており、MESAはシミュレーション以外の方法レベルの差を捉えている。 プロジェクトウェブサイト: https://pairlab.github.io/MESA.com

関連論文リスト

• OpenCompass: A Universal Evaluation Platform for Large Language Models [62.59671563145442]
  汎用大規模言語モデル (LLM) は, 技術の進歩において重要なリンクとなっている。 メインストリームベンチマークデータセットは、タスクタイプの多様性、一貫性のない評価基準、データと処理の断片化といった課題に直面している。 本稿では,ワンストップ,スケーラブル,高精度な汎用評価プラットフォームであるOpen LLMをオープンソースとして提案する。
  論文  参考訳（メタデータ） (2026-05-19T02:50:11Z)
• Rethinking Facial Expression Recognition in the Era of Multimodal Large Language Models: Benchmark, Datasets, and Beyond [116.65158801881984]
  MLLMの表情推論能力の向上を目的とした後学習戦略を提案する。 We developed a unified and interpretable FER foundation model called UniFER-7B。
  論文  参考訳（メタデータ） (2025-11-01T03:53:00Z)
• Mind and Motion Aligned: A Joint Evaluation IsaacSim Benchmark for Task Planning and Low-Level Policies in Mobile Manipulation [31.874825130479174]
  Kitchen-Rは、シミュレーションされたキッチン環境内でタスク計画と低レベル制御の評価を統合するベンチマークである。 アイザック・シムシミュレーターを使ってデジタル双生児として開発されたKitchen-Rは、移動式マニピュレータロボットをサポートしている。
  論文  参考訳（メタデータ） (2025-08-21T15:48:51Z)
• EmbodiedBench: Comprehensive Benchmarking Multi-modal Large Language Models for Vision-Driven Embodied Agents [63.43699771428243]
  EmbodiedBenchは、視覚駆動型エンボディエージェントを評価するために設計された広範囲なベンチマークである。 我々はEmbodiedBench内のプロプライエタリおよびオープンソースMLLMを24件評価した。 MLLMは高いレベルのタスクで優れるが、低レベルの操作に苦戦し、最高のモデルであるGPT-4oは平均28.9%のスコアしか獲得できなかった。
  論文  参考訳（メタデータ） (2025-02-13T18:11:34Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• MESA: Boost Ensemble Imbalanced Learning with MEta-SAmpler [30.46938660561697]
  我々はMESAという新しいアンサンブルILフレームワークを紹介する。 複数の分類器を取得し、カスケードアンサンブルモデルを形成するために、反復でトレーニングセットを適応的に再サンプリングする。 一般的なメタラーニングベースのILソリューションとは異なり、MESAではモデルトレーニングとメタトレーニングを分離する。
  論文  参考訳（メタデータ） (2020-10-17T17:29:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。