論文の概要: ManiTrend: Bridging Future Generation and Action Prediction with 3D Flow for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2502.10028v1
• Date: Fri, 14 Feb 2025 09:13:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:44:29.472797
• Title: ManiTrend: Bridging Future Generation and Action Prediction with 3D Flow for Robotic Manipulation
• Title（参考訳）: ManiTrend: ロボットマニピュレーションのための3次元フローによるブリッジ生成と動作予測
• Authors: Yuxin He, Qiang Nie,
• Abstract要約: 3次元流れは、シーン内の3次元粒子の動きの傾向を表す。 ManiTrendは3D粒子、視覚観察、操作動作のダイナミクスをモデル化する統合フレームワークである。 提案手法は最先端の性能を高い効率で達成する。
• 参考スコア（独自算出の注目度）: 11.233768932957771
• License:
• Abstract: Language-conditioned manipulation is a vital but challenging robotic task due to the high-level abstraction of language. To address this, researchers have sought improved goal representations derived from natural language. In this paper, we highlight 3D flow - representing the motion trend of 3D particles within a scene - as an effective bridge between language-based future image generation and fine-grained action prediction. To this end, we develop ManiTrend, a unified framework that models the dynamics of 3D particles, vision observations and manipulation actions with a causal transformer. Within this framework, features for 3D flow prediction serve as additional conditions for future image generation and action prediction, alleviating the complexity of pixel-wise spatiotemporal modeling and providing seamless action guidance. Furthermore, 3D flow can substitute missing or heterogeneous action labels during large-scale pretraining on cross-embodiment demonstrations. Experiments on two comprehensive benchmarks demonstrate that our method achieves state-of-the-art performance with high efficiency. Our code and model checkpoints will be available upon acceptance.
• Abstract（参考訳）: 言語条件の操作は、言語を高度に抽象化するため、不可欠だが困難なロボット作業である。 これを解決するために、研究者は自然言語から派生した目標表現の改善を模索してきた。 本稿では,シーン内の3次元粒子の動き傾向を表す3次元流れを,言語に基づく将来の画像生成ときめ細かな動作予測との効果的な橋渡しとして取り上げる。 この目的のために,3次元粒子の力学,視覚観察,操作動作を因果変換器でモデル化する統合フレームワークであるManiTrendを開発した。 このフレームワーク内の3次元フロー予測機能は、将来の画像生成とアクション予測のための追加条件として機能し、画素単位の時空間モデリングの複雑さを軽減し、シームレスなアクションガイダンスを提供する。 さらに、3次元フローは、クロス・エボディメント・デモにおける大規模な事前訓練中に欠落または不均一な動作ラベルを置換することができる。 2つの総合的なベンチマーク実験により,本手法が最先端の性能を高い効率で達成できることが実証された。 私たちのコードとモデルチェックポイントは受け入れ次第利用可能になります。

関連論文リスト

• GaussianPrediction: Dynamic 3D Gaussian Prediction for Motion Extrapolation and Free View Synthesis [71.24791230358065]
  動的シーンモデリングと将来のシナリオ合成により,3次元ガウス表現を実現する新しいフレームワークを提案する。 GaussianPredictionは、ダイナミックなシーンのビデオ観察を使用して、あらゆる視点から将来の状態を予測できる。 本フレームワークは,合成データセットと実世界のデータセットの両方で優れた性能を示し,将来の環境の予測とレンダリングの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-30T06:47:55Z)
• Transcrib3D: 3D Referring Expression Resolution through Large Language Models [28.121606686759225]
  本稿では,3次元検出手法と大規模言語モデルの創発的推論機能を組み合わせたアプローチであるTranscrib3Dを紹介する。 Transcrib3Dは3D参照解像度ベンチマークで最先端の結果を得る。 提案手法は,提案手法を用いて,参照表現の難易度を含むクエリに対して,実際のロボットがピック・アンド・プレイス・タスクを実行できることを示す。
  論文  参考訳（メタデータ） (2024-04-30T02:48:20Z)
• Interactive3D: Create What You Want by Interactive 3D Generation [13.003964182554572]
  我々はインタラクティブな3D生成のための革新的なフレームワークであるInteractive3Dを紹介した。 実験の結果,Interactive3Dは3D生成の制御性と品質を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-04-25T11:06:57Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• 3D-VLA: A 3D Vision-Language-Action Generative World Model [68.0388311799959]
  最近の視覚言語アクション(VLA)モデルは2D入力に依存しており、3D物理世界の広い領域との統合は欠如している。 本稿では,3次元知覚,推論,行動をシームレスにリンクする新しい基礎モデルのファウンデーションモデルを導入することにより,3D-VLAを提案する。 本実験により,3D-VLAは実環境における推論,マルチモーダル生成,計画能力を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-03-14T17:58:41Z)
• L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects [53.4874127399702]
  本稿では,3Dメッシュ生成を推論可能な3Dメッシュ生成手法であるL3GO(チェーン・オブ・3D思想)を用いた言語エージェントを提案する。 我々は,新しいベンチマークである Unconventionally Feasible Objects (UFO) と,Blender上に構築されたSimpleBlenv を開発した。 提案手法は,ShapeNet上での3Dメッシュ生成のための標準GPT-4および他の言語エージェントを上回る。
  論文  参考訳（メタデータ） (2024-02-14T09:51:05Z)
• FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding [11.118857208538039]
  基礎モデルの視覚言語埋め込みを3次元ガウススプラッティング(GS)に組み込んだ基礎モデル埋め込みガウススプラッティング(S)を提案する。 結果は、多面的なセマンティック一貫性を示し、様々な下流タスクを容易にし、オープン語彙言語に基づくオブジェクト検出において、最先端のメソッドを10.2%上回った。 本研究では,視覚・言語・3次元シーン表現の交わりについて検討し,制御されていない現実世界環境におけるシーン理解の強化の道を開く。
  論文  参考訳（メタデータ） (2024-01-03T20:39:02Z)
• FutureHuman3D: Forecasting Complex Long-Term 3D Human Behavior from Video Observations [26.693664045454526]
  本稿では,3次元における長期的人間の行動を予測するための生成的アプローチを提案する。 我々は高レベルの粗いアクションラベルと低レベルの微粒化を特徴的3次元人間のポーズとして共同で予測する。 実験では,関節動作と3次元ポーズ予測の相補的性質を実証した。
  論文  参考訳（メタデータ） (2022-11-25T18:59:53Z)
• LocATe: End-to-end Localization of Actions in 3D with Transformers [91.28982770522329]
  LocATeは、3Dシーケンスでアクションを共同でローカライズし認識するエンドツーエンドのアプローチである。 画像やパッチの特徴を入力として考えるトランスフォーマーベースのオブジェクト検出や分類モデルとは異なり、LocATeのトランスフォーマーモデルはシーケンス内のアクション間の長期的な相関をキャプチャすることができる。 BABEL-TAL-20 (BT20) という新しい,挑戦的で,より現実的なベンチマークデータセットを導入する。
  論文  参考訳（メタデータ） (2022-03-21T03:35:32Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。