論文の概要: RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models: Capability, Resource Affordability, and Research Evidence
- arxiv url: http://arxiv.org/abs/2610.40026v2
- Date: Mon, 02 Nov 2026 14:06:12 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:13:13.81544
- Title: RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models: Capability, Resource Affordability, and Research Evidence
- Title（参考訳）: RoboSeed:ビジョン・ランゲージ・アクションとワールド・アクション・モデルの多次元評価:能力、リソース・アフォーダビリティ、研究エビデンス
- Abstract要約: RoboSeedは視覚行動モデル(VLA)と世界行動モデル(WAM)のための多次元評価フレームワークである
能力、下流トレーニングの可利用性、配備の可利用性、ローカルに検証された研究価値、再生証拠の5つの側面を定義している。
本稿では,VLAモデルとWAMモデルの代表としてフレームワークを適用し,ローカルトレーニング,リリースウェイト評価,タスクレベル監査,評価システムの検討を行った。
- 参考スコア（独自算出の注目度）: 28.790085541285404
- License:
- Abstract: Choosing a robot action model requires evidence about task capability, adaptation cost, deployment requirements, and the reliability of reported conclusions. Success rates alone offer limited guidance to researchers with different computing budgets and goals. We propose RoboSeed, a multidimensional evaluation framework for vision-language-action (VLA) and world-action models (WAM), within a continuing program to train, evaluate, and openly release robot models with verifiable evidence for model selection. The framework defines five dimensions: capability, downstream training affordability, deployment affordability, locally verified research value, and reproduction evidence. It maps empirical measurements and audit criteria to 0-100 profiles using fixed normalization anchors, with balanced, training-constrained, and deployment-constrained preference settings. Interface and protocol checks establish when comparisons are appropriate. Missing measurements remain explicit, incomplete aggregate scores are withheld, and weighted input coverage identifies evidence gaps. We apply the framework to representative VLA and WAM models, drawing on local training, released-weight evaluation, task-level audits, and an evaluation-system study. The results reveal budget-dependent backbone choices, sensitivity to adaptation recipes, and differences between language and visual task interfaces. Reproducible scoring code and machine-readable evidence support extension to additional models. The study provides dimension-level assessments and priorities for further measurement, while incomplete serving traces and heterogeneous protocols preclude overall numerical rankings.
- Abstract（参考訳）: ロボットアクションモデルを選択するには、タスク能力、適応コスト、デプロイメント要件、報告された結論の信頼性に関する証拠が必要である。
成功率だけでは、異なる計算予算と目標を持つ研究者に限定的なガイダンスを提供する。
本稿では,視覚言語行動(VLA)と世界行動モデル(WAM)の多次元評価フレームワークであるRoboSeedを提案する。
このフレームワークは5つの次元を定義している。能力、下流トレーニングの可利用性、デプロイメントの可利用性、ローカルに検証された研究価値、そして再生証拠である。
実験的な測定と監査基準を、固定正規化アンカーを使用して0-100プロファイルにマッピングする。
インターフェースとプロトコルチェックは、比較が適切であるときに確立される。
欠落の測定は明確であり、不完全な集計スコアは保持されず、重み付けされた入力カバレッジは証拠のギャップを識別する。
本稿では,VLAモデルとWAMモデルの代表としてフレームワークを適用し,ローカルトレーニング,リリースウェイト評価,タスクレベル監査,評価システムの検討を行った。
その結果、予算依存のバックボーン選択、適応レシピへの感受性、言語と視覚的タスクインターフェースの違いが明らかになった。
再現可能なスコアコードとマシン可読なエビデンスは、追加モデルの拡張をサポートする。
この研究は、さらなる測定のための次元レベルの評価と優先順位を提供する一方で、不完全なサービストレースと不均一なプロトコルは全体的な数値ランキングを妨げている。
関連論文リスト
- DAREBench: Deployment-Aware and Reliable Evaluation of Models as Agents [16.576661790025668]
DAREBenchは、ワークロードの変動を捉え、信頼できるエージェント評価をサポートするために設計されたベンチマークである。
単一のモデルがすべてのワークロードグループ、テキスト、マルチモーダルタスクを支配しているわけではない。
これらの結果は、エージェントのデプロイメントとモデルの選択は、ワークロードプロファイル、デプロイメントモード、精度の高いトレードオフを考慮するべきであることを示唆している。
論文 参考訳（メタデータ） (2026-09-05T12:36:59Z) - From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence [54.62791372989525]
アクションモデル、ビジョン言語-アクションポリシー、世界モデルは、この目標を前進させた。
世界行動モデル(WAM)は、候補者の介入と予測された結果とを結びつけるため、特に有望である。
我々は、WAMへの進化をレビューし、これらの制限をモデルの役割と表現、目的と標準化、システム構成という3つの組み合わせのギャップにまとめる。
論文 参考訳（メタデータ） (2026-07-13T15:22:56Z) - Evaluating Supervised Machine Learning Models: Principles, Pitfalls, and Metric Selection [5.015895904388096]
本稿では,教師付き学習アルゴリズムの評価に関わる原則,課題,実践的考察について検討する。
評価結果は,データセットの特徴,検証設計,クラス不均衡,非対称なエラーコスト,パフォーマンス指標の選択にどのように影響するかを論じる。
論文 参考訳（メタデータ） (2026-04-15T13:44:35Z) - Which Evaluation for Which Model? A Taxonomy for Speech Model Assessment [3.6991820768985746]
音声基礎モデルは、最近、広範囲のタスクで顕著な機能を達成した。
異なるモデルは、音声処理の異なる側面で優れており、異なる評価プロトコルを必要とする。
本稿では,どのモデルに適切な評価を行うかという問題に対処する統合分類法を提案する。
論文 参考訳（メタデータ） (2025-10-22T12:04:32Z) - Adapting Vision-Language Models for Evaluating World Models [24.813041196394582]
データおよび計算制約下でのシミュレーション環境におけるロールアウトに対する視覚言語評価手法であるUNIVERSEを提案する。
本研究では,タスク形式,コンテキスト長,サンプリング戦略,データ構成を網羅した,完全,部分的,パラメータ効率の微調整を大規模に検討する。
その結果得られた統合評価器は、単一のチェックポイントを使用してタスク固有のベースラインのパフォーマンスにマッチする。
論文 参考訳（メタデータ） (2025-06-22T09:53:28Z) - Improving Applicability of Deep Learning based Token Classification models during Training [0.0]
F1-Scoreで表される分類基準は、実際に機械学習モデルの適用性を評価するには不十分であることを示す。
本稿では,視覚的文書理解とトークン分類タスクのソリューションとして,文書統合精度(Document Integrity Precision, DIP)を導入した。
論文 参考訳（メタデータ） (2025-03-28T17:01:19Z) - A Control-Centric Benchmark for Video Prediction [69.22614362800692]
本稿では,アクション条件付きビデオ予測のベンチマークを,制御ベンチマークの形式で提案する。
私たちのベンチマークには、11のタスクカテゴリと310のタスクインスタンス定義を備えたシミュレーション環境が含まれています。
次に、ベンチマークを活用して、スケールするモデルサイズ、トレーニングデータの量、モデルアンサンブルの影響を調査します。
論文 参考訳（メタデータ） (2023-04-26T17:59:45Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳（メタデータ） (2022-11-08T19:00:00Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳（メタデータ） (2021-02-17T18:25:30Z) - RADDLE: An Evaluation Benchmark and Analysis Platform for Robust
Task-oriented Dialog Systems [75.87418236410296]
我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。
RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。
先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-12-29T08:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。