論文の概要: General Flow as Foundation Affordance for Scalable Robot Learning

• arxiv url: http://arxiv.org/abs/2401.11439v2
• Date: Mon, 23 Sep 2024 08:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 05:17:11.965132
• Title: General Flow as Foundation Affordance for Scalable Robot Learning
• Title（参考訳）: スケーラブルなロボット学習のための基盤としての汎用フロー
• Authors: Chengbo Yuan, Chuan Wen, Tong Zhang, Yang Gao,
• Abstract要約: 大規模RGBDビデオデータセットから直接,言語条件付き3次元フロー予測モデルを開発する。 提案手法は,ゼロショットの人間とロボットのスキル伝達において,81%の成功率を達成した。
• 参考スコア（独自算出の注目度）: 17.542499720026047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We address the challenge of acquiring real-world manipulation skills with a scalable framework. We hold the belief that identifying an appropriate prediction target capable of leveraging large-scale datasets is crucial for achieving efficient and universal learning. Therefore, we propose to utilize 3D flow, which represents the future trajectories of 3D points on objects of interest, as an ideal prediction target. To exploit scalable data resources, we turn our attention to human videos. We develop, for the first time, a language-conditioned 3D flow prediction model directly from large-scale RGBD human video datasets. Our predicted flow offers actionable guidance, thus facilitating zero-shot skill transfer in real-world scenarios. We deploy our method with a policy based on closed-loop flow prediction. Remarkably, without any in-domain finetuning, our method achieves an impressive 81\% success rate in zero-shot human-to-robot skill transfer, covering 18 tasks in 6 scenes. Our framework features the following benefits: (1) scalability: leveraging cross-embodiment data resources; (2) wide application: multiple object categories, including rigid, articulated, and soft bodies; (3) stable skill transfer: providing actionable guidance with a small inference domain-gap. Code, data, and supplementary materials are available https://general-flow.github.io
• Abstract（参考訳）: スケーラブルなフレームワークで現実世界の操作スキルを取得するという課題に対処する。 我々は,大規模データセットを活用可能な適切な予測対象を特定することが,効率的で普遍的な学習を実現する上で重要であると信じている。 そこで本研究では,対象物に対する3次元点の将来の軌跡を表す3次元流れを,理想的な予測対象として活用することを提案する。 スケーラブルなデータリソースを活用するために、人間のビデオに注意を向けます。 我々は,大規模なRGBDビデオデータセットから直接,言語条件付き3次元フロー予測モデルを開発した。 予測フローはアクション可能なガイダンスを提供し、現実のシナリオにおけるゼロショットスキルの伝達を容易にする。 クローズドループフロー予測に基づくポリシで,本手法をデプロイする。 特筆すべきは、ドメイン内での微調整がなければ、ゼロショットの人間とロボットのスキル伝達で81倍の成功率を達成でき、6つのシーンで18のタスクをカバーできることだ。 拡張性: クロス・エボディメント・データリソースの活用 (2) 広範アプリケーション: 剛性、調音性、ソフトボディを含む複数のオブジェクトカテゴリ; 安定的なスキル伝達: 最小の推論ドメインギャップで実行可能なガイダンスを提供する。 コード、データ、補足資料はhttps:// general-flow.github.ioで入手できる。

関連論文リスト

• Hand-Object Interaction Pretraining from Videos [77.92637809322231]
  我々は,3次元ハンドオブジェクトインタラクショントラジェクトリから,一般的なロボット操作を学習する。 人間の手と操作された物体を3D空間で共有し、人間の動きをロボットの動きと共有する。 我々は、このポリシーを、強化学習(RL)と行動クローニング(BC)の両方で微調整することで、下流タスクへのサンプル効率の適応を可能にし、従来のアプローチと比較して堅牢性と一般化性を同時に改善できることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-09-12T17:59:07Z)
• Semi-supervised 3D Semantic Scene Completion with 2D Vision Foundation Model Guidance [11.090775523892074]
  我々は、高密度な注釈付きデータへの依存を軽減するために、新しい半教師付きフレームワークを導入する。 提案手法は2次元基礎モデルを用いて3次元シーンの幾何学的・意味的手がかりを生成する。 本手法は,10%のラベル付きデータを用いて全教師付き性能の最大85%を達成する。
  論文  参考訳（メタデータ） (2024-08-21T12:13:18Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• WANDR: Intention-guided Human Motion Generation [67.07028110459787]
  我々は,アバターの初期ポーズとゴールの3D位置を取り,ゴール位置にエンドエフェクタ(抵抗)を配置する自然な人間の動きを生成するデータ駆動モデルであるWADRを紹介する。 インテンションはエージェントをゴールに誘導し、サブゴールやモーションパス全体を定義することなく、新しい状況にインタラクティブに世代を適応させる。 提案手法を広範に評価し,3次元目標に到達した自然および長期の動作と,見当たらない目標位置を生成できることを実証する。
  論文  参考訳（メタデータ） (2024-04-23T10:20:17Z)
• SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
  トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。 本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。 本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
  論文  参考訳（メタデータ） (2023-09-19T11:13:01Z)
• Pedestrian Crossing Action Recognition and Trajectory Prediction with 3D Human Keypoints [25.550524178542833]
  歩行者の横断行動認識と軌道予測のための新しいマルチタスク学習フレームワークを提案する。 生のセンサデータから抽出した3D人間のキーポイントを用いて、人間のポーズや活動に関する豊富な情報をキャプチャする。 提案手法は,幅広い評価指標を用いて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T18:27:48Z)
• Where2Act: From Pixels to Actions for Articulated 3D Objects [54.19638599501286]
  可動部を有する関節物体の押出しや引抜き等の基本動作に関連する高度に局所化された動作可能な情報を抽出する。 シミュレーションでネットワークをトレーニングできるオンラインデータサンプリング戦略を備えた学習から対話までのフレームワークを提案します。 私たちの学習モデルは、現実世界のデータにも転送します。
  論文  参考訳（メタデータ） (2021-01-07T18:56:38Z)
• 2nd Place Scheme on Action Recognition Track of ECCV 2020 VIPriors Challenges: An Efficient Optical Flow Stream Guided Framework [57.847010327319964]
  我々は、小さなデータセットでモデルをスクラッチからトレーニングできるデータ効率フレームワークを提案する。 具体的には、3D中心差分畳み込み演算を導入することで、新しいC3Dニューラルネットワークベースの2ストリームフレームワークを提案する。 提案手法は,大規模データセット上で事前学習したモデルがなくても,有望な結果が得られることを実証した。
  論文  参考訳（メタデータ） (2020-08-10T09:50:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。