論文の概要: PianoMime: Learning a Generalist, Dexterous Piano Player from Internet Demonstrations

• arxiv url: http://arxiv.org/abs/2407.18178v1
• Date: Thu, 25 Jul 2024 16:37:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 13:19:20.761154
• Title: PianoMime: Learning a Generalist, Dexterous Piano Player from Internet Demonstrations
• Title（参考訳）: PianoMime:インターネットのデモからジェネラリスト、Dexterous Piano Playerを学ぶ
• Authors: Cheng Qian, Julen Urain, Kevin Zakka, Jan Peters,
• Abstract要約: インターネットデモを用いたピアノ演奏エージェントのトレーニングフレームワークであるPianoMimeを紹介した。 本研究では,任意の曲を演奏できるジェネラリストピアノ演奏エージェントを学習するために,これらのデモを活用している。 我々は、目に見えない曲でF1スコアの最大56%のポリシーを学習できることを示します。
• 参考スコア（独自算出の注目度）: 21.52466727496551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we introduce PianoMime, a framework for training a piano-playing agent using internet demonstrations. The internet is a promising source of large-scale demonstrations for training our robot agents. In particular, for the case of piano-playing, Youtube is full of videos of professional pianists playing a wide myriad of songs. In our work, we leverage these demonstrations to learn a generalist piano-playing agent capable of playing any arbitrary song. Our framework is divided into three parts: a data preparation phase to extract the informative features from the Youtube videos, a policy learning phase to train song-specific expert policies from the demonstrations and a policy distillation phase to distil the policies into a single generalist agent. We explore different policy designs to represent the agent and evaluate the influence of the amount of training data on the generalization capability of the agent to novel songs not available in the dataset. We show that we are able to learn a policy with up to 56\% F1 score on unseen songs.
• Abstract（参考訳）: そこで本研究では,インターネットデモを用いたピアノ演奏エージェントのトレーニングフレームワークであるPianoMimeを紹介する。 インターネットは、ロボットエージェントを訓練するための大規模なデモの、有望な情報源だ。 特にピアノ演奏の場合、Youtubeはプロのピアニストが無数の曲を弾くビデオでいっぱいだ。 本研究では,任意の曲を演奏できるジェネラリストピアノ演奏エージェントを学習するために,これらのデモを活用している。 本フレームワークは,Youtubeビデオから情報的特徴を抽出するデータ作成フェーズ,デモから歌固有の専門家ポリシーを訓練するポリシー学習フェーズ,政策を1つのジェネラリストエージェントに分解するポリシー蒸留フェーズの3つに分けられる。 エージェントを表現するための異なるポリシー設計を探索し、データセットにない新曲に対するエージェントの一般化能力に対するトレーニングデータの量の影響を評価する。 56\%のF1スコアを持つポリシーを、目に見えない曲で学習できることを示します。

関連論文リスト

• PianoBART: Symbolic Piano Music Generation and Understanding with Large-Scale Pre-Training [8.484581633133542]
  PianoBARTは、BARTを象徴的なピアノ音楽の生成と理解の両方に使用する事前訓練されたモデルである。 我々は,PanoBARTの事前学習タスクに対して,情報漏洩や損失を防止できる多レベルオブジェクト選択戦略を考案した。 実験により、ピアノBARTは効率よく音楽パターンを学習し、高品質なコヒーレントな作品を生成する際、優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-06-26T03:35:54Z)
• Learning an Actionable Discrete Diffusion Policy via Large-Scale Actionless Video Pre-Training [69.54948297520612]
  ジェネラリストの具体化エージェントを学ぶことは、主にアクションラベル付きロボットデータセットの不足に起因して、課題を提起する。 これらの課題に対処するための新しい枠組みを導入し、人間のビデオにおける生成前トレーニングと、少数のアクションラベル付きロボットビデオのポリシー微調整を組み合わせるために、統一された離散拡散を利用する。 提案手法は, 従来の最先端手法と比較して, 高忠実度な今後の計画ビデオを生成し, 細調整されたポリシーを強化する。
  論文  参考訳（メタデータ） (2024-02-22T09:48:47Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)
• Learning to Act from Actionless Videos through Dense Correspondences [87.1243107115642]
  本稿では,様々なロボットや環境にまたがる多様なタスクを確実に実行可能なビデオベースのロボットポリシーを構築するためのアプローチを提案する。 本手法は,ロボットの目標を指定するための汎用表現として,状態情報と行動情報の両方を符号化するタスク非依存表現として画像を利用する。 テーブルトップ操作とナビゲーションタスクの学習方針における我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-12T17:59:23Z)
• RoboCLIP: One Demonstration is Enough to Learn Robot Policies [72.24495908759967]
  RoboCLIPは、オンラインの模倣学習手法であり、ビデオデモの形式で1つのデモンストレーションまたはタスクのテキスト記述を使用して報酬を生成する。 RoboCLIPは、報酬生成のタスクを解決した人間のビデオや、同じデモやデプロイメントドメインを持つ必要を回避するなど、ドメイン外のデモも利用することができる。
  論文  参考訳（メタデータ） (2023-10-11T21:10:21Z)
• At Your Fingertips: Extracting Piano Fingering Instructions from Videos [45.643494669796866]
  ビデオから指情報を自動的に抽出するAIタスクについて検討する。 ディープラーニングモジュールの組み合わせを用いて,このタスクを高精度に実行する方法を示す。 結果、90本の動画でシステムを実行し、高品質のピアノ指で150Kの音符を入力します。
  論文  参考訳（メタデータ） (2023-03-07T09:09:13Z)
• Pop2Piano : Pop Audio-based Piano Cover Generation [14.901465561297178]
  本稿では,Pop2Pianoについて紹介する。Pop2Pianoは,ポップミュージックの波形が与えられたピアノカバーを生成するトランスフォーマーネットワークである。 我々の知る限りでは、メロディやコード抽出モジュールを使わずに、ポップオーディオから直接ピアノカバーを生成する最初のモデルである。
  論文  参考訳（メタデータ） (2022-11-02T05:42:22Z)
• Learning music audio representations via weak language supervision [14.335950077921435]
  我々は,一連のプロキシタスクによって最適化された音楽と言語事前学習(MuLaP)のためのマルチモーダルアーキテクチャを設計する。 弱い監督は、トラックの全体的な音楽内容を伝える、騒々しい自然言語記述の形で提供される。 提案手法の有効性を,同一のオーディオバックボーンが生成する音声表現の性能と,異なる学習戦略とを比較して示す。
  論文  参考訳（メタデータ） (2021-12-08T10:30:52Z)
• Towards Learning to Play Piano with Dexterous Hands and Touch [79.48656721563795]
  そこで我々は,エージェントが機械可読音楽から直接学習して,模擬ピアノで器用な手でピアノを弾く方法を示した。 我々は、タッチ強化された報酬と、新しいタスクのカリキュラムを使用することで、これを実現する。
  論文  参考訳（メタデータ） (2021-06-03T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。