論文の概要: On the Evaluation of Generative Robotic Simulations

• arxiv url: http://arxiv.org/abs/2410.08172v1
• Date: Thu, 10 Oct 2024 17:49:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 04:55:58.919632
• Title: On the Evaluation of Generative Robotic Simulations
• Title（参考訳）: 生成ロボットシミュレーションの評価について
• Authors: Feng Chen, Botian Xu, Pu Hua, Peiqi Duan, Yanchao Yang, Yi Ma, Huazhe Xu,
• Abstract要約: 生成シミュレーションに適した総合評価フレームワークを提案する。 単一タスクの品質では、生成されたタスクのリアリズムと生成されたトラジェクトリの完全性を評価する。 タスクレベルの一般化のために、複数の生成されたタスクで訓練されたポリシーの目に見えないタスクに対してゼロショットの一般化能力を評価する。
• 参考スコア（独自算出の注目度）: 35.8253733339539
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Due to the difficulty of acquiring extensive real-world data, robot simulation has become crucial for parallel training and sim-to-real transfer, highlighting the importance of scalable simulated robotic tasks. Foundation models have demonstrated impressive capacities in autonomously generating feasible robotic tasks. However, this new paradigm underscores the challenge of adequately evaluating these autonomously generated tasks. To address this, we propose a comprehensive evaluation framework tailored to generative simulations. Our framework segments evaluation into three core aspects: quality, diversity, and generalization. For single-task quality, we evaluate the realism of the generated task and the completeness of the generated trajectories using large language models and vision-language models. In terms of diversity, we measure both task and data diversity through text similarity of task descriptions and world model loss trained on collected task trajectories. For task-level generalization, we assess the zero-shot generalization ability on unseen tasks of a policy trained with multiple generated tasks. Experiments conducted on three representative task generation pipelines demonstrate that the results from our framework are highly consistent with human evaluations, confirming the feasibility and validity of our approach. The findings reveal that while metrics of quality and diversity can be achieved through certain methods, no single approach excels across all metrics, suggesting a need for greater focus on balancing these different metrics. Additionally, our analysis further highlights the common challenge of low generalization capability faced by current works. Our anonymous website: https://sites.google.com/view/evaltasks.
• Abstract（参考訳）: 大規模な実世界のデータを取得することの難しさから、ロボットシミュレーションは並列トレーニングやシミュレート・トゥ・リアル・トランスファーに欠かせないものとなり、スケーラブルなシミュレートされたロボットタスクの重要性を強調している。 ファウンデーションモデルは、自律的に実現可能なロボットタスクを自動生成する驚くべき能力を示してきた。 しかし、この新しいパラダイムは、これらの自律的に生成されたタスクを適切に評価することの難しさを浮き彫りにしている。 そこで本研究では,生成シミュレーションに適した総合評価フレームワークを提案する。 フレームワークは評価を,品質,多様性,一般化の3つの中核的な側面に区分する。 単一タスクの品質については,大規模言語モデルと視覚言語モデルを用いて,生成したタスクのリアリズムと生成したトラジェクトリの完全性を評価する。 多様性の観点からは,タスク記述のテキスト類似性と,収集されたタスク軌跡に基づいて訓練された世界モデル損失を用いて,タスクとデータの多様性を計測する。 タスクレベルの一般化のために、複数の生成されたタスクで訓練されたポリシーの目に見えないタスクに対してゼロショットの一般化能力を評価する。 3つの代表的なタスク生成パイプラインで実施した実験は、我々のフレームワークの結果が人間の評価と極めて整合していることを示し、我々のアプローチの有効性と妥当性を確認した。 この結果から、品質と多様性のメトリクスは特定の方法によって達成できるが、すべてのメトリクスにまたがる単一のアプローチは存在しないことが分かる。 さらに,本分析は,現在の研究で直面する低一般化能力の共通課題をさらに強調する。 私たちの匿名ウェブサイトはhttps://sites.google.com/view/evaltasksです。

関連論文リスト

• Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
  メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。 タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。 本稿では、経験的および理論的分析を通して、この見解に挑戦する。
  論文  参考訳（メタデータ） (2023-07-18T01:53:18Z)
• An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems [4.675744559395732]
  マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。 最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。 本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T13:10:47Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
  我々はUni-Perceiverという汎用認識アーキテクチャを提案する。 様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。 その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2021-12-02T18:59:50Z)
• BEHAVIOR: Benchmark for Everyday Household Activities in Virtual, Interactive, and Ecological Environments [70.18430114842094]
  本稿では,シミュレーションにおける100のアクティビティを持つAIのベンチマークであるBEHAVIORを紹介する。 これらの活動は現実的で多様性があり、複雑であるように設計されています。 われわれは、バーチャルリアリティー(VR)における500件の人間デモを含む。
  論文  参考訳（メタデータ） (2021-08-06T23:36:23Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning [138.40338621974954]
  CausalWorldは、ロボット操作環境における因果構造と伝達学習のベンチマークである。 タスクは、ブロックのセットから3D形状を構築することで構成される。
  論文  参考訳（メタデータ） (2020-10-08T23:01:13Z)
• Scalable Multi-Task Imitation Learning with Autonomous Improvement [159.9406205002599]
  我々は、自律的なデータ収集を通じて継続的に改善できる模倣学習システムを構築している。 我々は、ロボット自身の試行を、実際に試みたタスク以外のタスクのデモとして活用する。 従来の模倣学習のアプローチとは対照的に,本手法は,継続的改善のための疎い監視によるデータ収集を自律的に行うことができる。
  論文  参考訳（メタデータ） (2020-02-25T18:56:42Z)
• Meta Adaptation using Importance Weighted Demonstrations [19.37671674146514]
  エージェントが新しいタスクを推測することが困難である場合も少なくない。 本稿では,特定のタスクの集合に関する事前知識を活用することで,関連するタスクを一般化する新しいアルゴリズムを提案する。 環境タスクの多様性からロボットを訓練し、目に見えない環境に適応できる実験を行った。
  論文  参考訳（メタデータ） (2019-11-23T07:22:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。