論文の概要: Articulate-Anything: Automatic Modeling of Articulated Objects via a Vision-Language Foundation Model

• arxiv url: http://arxiv.org/abs/2410.13882v3
• Date: Thu, 06 Feb 2025 18:15:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:30:23.985519
• Title: Articulate-Anything: Automatic Modeling of Articulated Objects via a Vision-Language Foundation Model
• Title（参考訳）: アーティキュレート・アニーシング:視覚言語基礎モデルによる人工物体の自動モデリング
• Authors: Long Le, Jason Xie, William Liang, Hung-Ju Wang, Yue Yang, Yecheng Jason Ma, Kyle Vedder, Arjun Krishna, Dinesh Jayaraman, Eric Eaton,
• Abstract要約: Articulate-Anythingは、テキスト、画像、ビデオを含む多くの入力モダリティから、多種多様な複雑なオブジェクトの明瞭化を自動化する。 本システムでは,メッシュ検索機構を通じて既存の3Dデータセットを,反復的に提案,評価,洗練を行うアクタ・クリティカル・システムとともに活用する。
• 参考スコア（独自算出の注目度）: 35.184607650708784
• License:
• Abstract: Interactive 3D simulated objects are crucial in AR/VR, animations, and robotics, driving immersive experiences and advanced automation. However, creating these articulated objects requires extensive human effort and expertise, limiting their broader applications. To overcome this challenge, we present Articulate-Anything, a system that automates the articulation of diverse, complex objects from many input modalities, including text, images, and videos. Articulate-Anything leverages vision-language models (VLMs) to generate code that can be compiled into an interactable digital twin for use in standard 3D simulators. Our system exploits existing 3D asset datasets via a mesh retrieval mechanism, along with an actor-critic system that iteratively proposes, evaluates, and refines solutions for articulating the objects, self-correcting errors to achieve a robust outcome. Qualitative evaluations demonstrate Articulate-Anything's capability to articulate complex and even ambiguous object affordances by leveraging rich grounded inputs. In extensive quantitative experiments on the standard PartNet-Mobility dataset, Articulate-Anything substantially outperforms prior work, increasing the success rate from 8.7-11.6% to 75% and setting a new bar for state-of-the-art performance. We further showcase the utility of our system by generating 3D assets from in-the-wild video inputs, which are then used to train robotic policies for fine-grained manipulation tasks in simulation that go beyond basic pick and place. These policies are then transferred to a real robotic system.
• Abstract（参考訳）: インタラクティブな3Dシミュレーションオブジェクトは、AR/VR、アニメーション、ロボット工学において不可欠であり、没入感のある体験と高度な自動化を駆動する。 しかし、これらの明瞭なオブジェクトを作成するには、広範囲な人的努力と専門知識が必要であり、より広範な応用を制限する。 この課題を克服するために、テキスト、画像、ビデオを含む多くの入力モダリティから多種多様な複雑なオブジェクトの調音を自動化するArticulate-Anythingを提案する。 Articulate-Anythingは視覚言語モデル(VLM)を利用して、標準的な3Dシミュレータで使用する対話可能なデジタルツインにコンパイル可能なコードを生成する。 本システムでは,メッシュ検索機構を通じて既存の3Dデータセットと,オブジェクトの明瞭化,自己修正誤り,堅牢な結果を達成するためのソリューションを反復的に提案し,評価し,洗練するアクタ・クリティカル・システムを利用する。 質的な評価は、リッチな接地入力を活用することで、Articulate-Anythingの複雑な、さらには曖昧なオブジェクトの余裕を明確にする能力を示している。 標準のPartNet-Mobilityデータセットに関する大規模な定量的実験では、Articulate-Anythingは以前の作業よりも大幅に優れ、成功率は8.7-11.6%から75%に増加し、最先端のパフォーマンスのための新しいバーが設定された。 さらに,本システムでは,映像入力から3Dアセットを生成し,基礎的な選択や位置を超えるシミュレーションにおけるきめ細かな操作タスクのためのロボットポリシーのトレーニングに使用する。 これらのポリシーはその後、本物のロボットシステムに転送される。

関連論文リスト

• Articulate AnyMesh: Open-Vocabulary 3D Articulated Objects Modeling [48.78204955169967]
  Articulate Anymeshは,剛性のある3Dメッシュを,オープンな語彙で表現されたものに変換可能な,自動フレームワークである。 実験の結果、Articulate Anymeshは、ツール、おもちゃ、機械装置、車両など、大規模で高品質な3D関節オブジェクトを生成できることがわかった。
  論文  参考訳（メタデータ） (2025-02-04T18:59:55Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• Towards Multimodal Multitask Scene Understanding Models for Indoor Mobile Agents [49.904531485843464]
  本稿では,現実世界の屋内環境におけるラベル付きデータの不十分,あるいは不可能,といった主な課題について論じる。 MMISM (Multi-modality input Multi-task output Indoor Scene Understanding Model) について述べる。 MMISMは、RGB画像だけでなく、スパースライダーポイントを入力と3Dオブジェクト検出、深さ完了、人間のポーズ推定、セマンティックセグメンテーションを出力タスクとみなしている。 MMISMはシングルタスクモデルよりも同等かそれ以上の性能を示す。
  論文  参考訳（メタデータ） (2022-09-27T04:49:19Z)
• FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects [14.034256001448574]
  そこで本研究では,様々な物体の潜在的な動きを学習して予測する視覚ベースシステムを提案する。 我々は,このベクトル場に基づく解析的運動プランナを配置し,最大調音を与えるポリシを実現する。 その結果,本システムは実世界のシミュレーション実験と実世界実験の両方において,最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-09T15:35:33Z)
• MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
  本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。 提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。 また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
  論文  参考訳（メタデータ） (2021-12-29T17:23:24Z)
• Learnable Online Graph Representations for 3D Multi-Object Tracking [156.58876381318402]
  3D MOT問題に対する統一型学習型アプローチを提案します。 我々は、完全にトレーニング可能なデータアソシエーションにNeural Message Passing Networkを使用します。 AMOTAの65.6%の最先端性能と58%のIDスウィッチを達成して、公開可能なnuScenesデータセットに対する提案手法のメリットを示す。
  論文  参考訳（メタデータ） (2021-04-23T17:59:28Z)
• Amodal 3D Reconstruction for Robotic Manipulation via Stability and Connectivity [3.359622001455893]
  学習に基づく3Dオブジェクト再構成により、3Dオブジェクトモデルの単一または少数ショット推定が可能となる。 既存の3D再構成技術は、通常、シャムファー距離またはボクセルIOUによって測定される視覚的再構成忠実度を最適化する。 本稿では,オブジェクト形状よりも先に安定性を導入するアモーダル3D再構成システムARMと,接続前の接続,マルチチャネル入力表現を提案する。
  論文  参考訳（メタデータ） (2020-09-28T08:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。