論文の概要: RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands

• arxiv url: http://arxiv.org/abs/2408.11048v2
• Date: Mon, 18 Nov 2024 14:14:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:30:09.454726
• Title: RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands
• Title（参考訳）: RP1M:バイマニュアル・デクサラス・ロボット・ハンドによるピアノ演奏のための大規模モーションデータセット
• Authors: Yi Zhao, Le Chen, Jan Schneider, Quankai Gao, Juho Kannala, Bernhard Schölkopf, Joni Pajarinen, Dieter Büchler,
• Abstract要約: ロボットピアノ100万のデータセットには,100万回以上の軌跡の動作データをバイマニュアルで演奏するロボットピアノが組み込まれている。 指の配置を最適な移動問題として定式化し、大量の未収録曲の自動アノテーションを可能にする。 既存の模倣学習手法のベンチマークでは、RP1Mを活用することにより、最先端のロボットピアノ演奏性能に達することが示されている。
• 参考スコア（独自算出の注目度）: 57.64308229980045
• License:
• Abstract: It has been a long-standing research goal to endow robot hands with human-level dexterity. Bi-manual robot piano playing constitutes a task that combines challenges from dynamic tasks, such as generating fast while precise motions, with slower but contact-rich manipulation problems. Although reinforcement learning based approaches have shown promising results in single-task performance, these methods struggle in a multi-song setting. Our work aims to close this gap and, thereby, enable imitation learning approaches for robot piano playing at scale. To this end, we introduce the Robot Piano 1 Million (RP1M) dataset, containing bi-manual robot piano playing motion data of more than one million trajectories. We formulate finger placements as an optimal transport problem, thus, enabling automatic annotation of vast amounts of unlabeled songs. Benchmarking existing imitation learning approaches shows that such approaches reach state-of-the-art robot piano playing performance by leveraging RP1M.
• Abstract（参考訳）: ロボットの手を人間レベルの器用さで支えることは、長年の研究目標だった。 バイマニュアル・ロボットピアノ演奏は、高速かつ高精度な動作、遅いが接触に富んだ操作問題など、動的タスクからの課題を組み合わせた作業である。 強化学習に基づくアプローチは、シングルタスクのパフォーマンスにおいて有望な結果を示しているが、これらの手法はマルチソング環境では苦労している。 本研究は,このギャップを埋めることを目的として,ロボットピアノの大規模演奏における模倣学習アプローチを実現する。 この目的のために,ロボットピアノ1百万(RP1M)データセットを紹介した。 指の配置を最適な移動問題として定式化し、大量の未収録曲の自動アノテーションを可能にする。 既存の模倣学習手法のベンチマークでは、RP1Mを活用することにより、最先端のロボットピアノ演奏性能に達することが示されている。

関連論文リスト

• FürElise: Capturing and Physically Synthesizing Hand Motions of Piano Performance [15.909113091360206]
  ピアノ演奏を正確に再現する洗練された手の動きモデルは、キャラクターアニメーション、エンボディAI、バイオメカニクス、VR/ARに幅広い応用がある。 本稿では,153曲のクラシック音楽を演奏する15人のエリートレベルのピアニストによる,約10時間の3D手の動きとオーディオを含む,第1世代の大規模データセットを構築する。
  論文  参考訳（メタデータ） (2024-10-08T08:21:05Z)
• Enhancing the LLM-Based Robot Manipulation Through Human-Robot Collaboration [4.2460673279562755]
  大規模言語モデル(LLM)はロボット工学の分野で人気を集めている。 本稿では,人間ロボットコラボレーション(HRC)によるLLMに基づく自律操作の性能向上のための新しいアプローチを提案する。 このアプローチでは、高レベルの言語コマンドをロボットによって実行できる一連の動作に分解するために、引き起こされたGPT-4言語モデルを使用する。
  論文  参考訳（メタデータ） (2024-06-20T08:23:49Z)
• Multi-task real-robot data with gaze attention for dual-arm fine manipulation [4.717749411286867]
  本稿では,2つのアームタスクや細かな操作を必要とするタスクを含む多種多様なオブジェクト操作のデータセットを紹介する。 224k エピソード (150時間, 1,104 言語命令) のデータセットを作成した。 このデータセットには、視覚的注意信号とデュアルアクションラベル、アクションを堅牢な到達軌道とオブジェクトとの正確な相互作用に分離する信号、堅牢で正確なオブジェクト操作を実現するための言語命令が含まれる。
  論文  参考訳（メタデータ） (2024-01-15T11:20:34Z)
• AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot Manipulation [50.737355245505334]
  本稿では,ロボット操作タスクにおける高レベル認知能力を学習するための新しいフレームワークを提案する。 得られたデータセットAlphaBlockは、多段階のテキストプランとペア観測による35の包括的なハイレベルタスクで構成されている。
  論文  参考訳（メタデータ） (2023-05-30T09:54:20Z)
• RoboPianist: Dexterous Piano Playing with Deep Reinforcement Learning [61.10744686260994]
  本稿では,150曲のピアノ作品の大規模なレパートリーをシミュレートして学習するシステムであるRoboPianistを紹介する。 また,オープンソース環境,タスクのベンチマーク,解釈可能な評価指標,今後の研究課題についても紹介する。
  論文  参考訳（メタデータ） (2023-04-09T03:53:05Z)
• Active Exploration for Robotic Manipulation [40.39182660794481]
  本稿では,スパース・リワード型ロボット操作作業における効率的な学習を可能にするモデルに基づく能動探索手法を提案する。 我々は,提案アルゴリズムをシミュレーションおよび実ロボットで評価し,スクラッチから本手法を訓練した。
  論文  参考訳（メタデータ） (2022-10-23T18:07:51Z)
• Model Predictive Control for Fluid Human-to-Robot Handovers [50.72520769938633]
  人間の快適さを考慮に入れた計画運動は、人間ロボットのハンドオーバプロセスの一部ではない。 本稿では,効率的なモデル予測制御フレームワークを用いてスムーズな動きを生成することを提案する。 ユーザ数名の多様なオブジェクトに対して,人間とロボットのハンドオーバ実験を行う。
  論文  参考訳（メタデータ） (2022-03-31T23:08:20Z)
• Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
  多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。 本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。 我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
  論文  参考訳（メタデータ） (2021-09-19T18:00:51Z)
• In-air Knotting of Rope using Dual-Arm Robot based on Deep Learning [8.365690203298966]
  深層学習に基づく双腕二本指ロボットを用いて,ロープの空中結節を成功させた。 全ての対象状態に対応する適切なロボット動作のマニュアル記述を事前に作成することは困難である。 そこで我々は,ロボットに2つの深層ニューラルネットワークを訓練し,そのセンサモデレータから収集したデータに基づいてボクノットとオーバーハンドノットを行うよう指示するモデルを構築した。
  論文  参考訳（メタデータ） (2021-03-17T02:11:58Z)
• Bayesian Meta-Learning for Few-Shot Policy Adaptation Across Robotic Platforms [60.59764170868101]
  強化学習手法は、重要な性能を達成できるが、同じロボットプラットフォームで収集される大量のトレーニングデータを必要とする。 私たちはそれを、さまざまなロボットプラットフォームで共有される共通の構造を捉えるモデルを見つけることを目標とする、数ショットのメタラーニング問題として定式化します。 我々は,400個のロボットを用いて,実ロボットピッキング作業とシミュレーションリーチの枠組みを実験的に評価した。
  論文  参考訳（メタデータ） (2021-03-05T14:16:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。