論文の概要: DINeMo: Learning Neural Mesh Models with no 3D Annotations

• arxiv url: http://arxiv.org/abs/2503.20220v1
• Date: Wed, 26 Mar 2025 04:23:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:20:36.915671
• Title: DINeMo: Learning Neural Mesh Models with no 3D Annotations
• Title（参考訳）: DINeMo: 3Dアノテーションなしでニューラルネットワークモデルを学ぶ
• Authors: Weijie Guo, Guofeng Zhang, Wufei Ma, Alan Yuille,
• Abstract要約: カテゴリーレベルの3D/6Dポーズ推定は、総合的な3Dシーン理解に向けた重要なステップである。 最近の研究は、分析バイシンセサイザーの観点から、2Dおよび3Dタスクにアプローチするニューラルネットワークモデルについて検討している。 疑似対応を利用して3次元アノテーションを使わずにトレーニングした新しいニューラルネットワークモデルであるDINeMoを提案する。
• 参考スコア（独自算出の注目度）: 7.21992608540601
• License:
• Abstract: Category-level 3D/6D pose estimation is a crucial step towards comprehensive 3D scene understanding, which would enable a broad range of applications in robotics and embodied AI. Recent works explored neural mesh models that approach a range of 2D and 3D tasks from an analysis-by-synthesis perspective. Despite the largely enhanced robustness to partial occlusion and domain shifts, these methods depended heavily on 3D annotations for part-contrastive learning, which confines them to a narrow set of categories and hinders efficient scaling. In this work, we present DINeMo, a novel neural mesh model that is trained with no 3D annotations by leveraging pseudo-correspondence obtained from large visual foundation models. We adopt a bidirectional pseudo-correspondence generation method, which produce pseudo correspondence utilize both local appearance features and global context information. Experimental results on car datasets demonstrate that our DINeMo outperforms previous zero- and few-shot 3D pose estimation by a wide margin, narrowing the gap with fully-supervised methods by 67.3%. Our DINeMo also scales effectively and efficiently when incorporating more unlabeled images during training, which demonstrate the advantages over supervised learning methods that rely on 3D annotations. Our project page is available at https://analysis-by-synthesis.github.io/DINeMo/.
• Abstract（参考訳）: カテゴリーレベルの3D/6Dポーズ推定は、ロボット工学とAIの幅広い応用を可能にする包括的な3Dシーン理解への重要なステップである。 最近の研究は、分析バイシンセサイザーの観点から、2Dおよび3Dタスクにアプローチするニューラルネットワークモデルについて検討している。 部分閉塞やドメインシフトに対するロバスト性は大幅に強化されたものの、これらの手法は部分競合学習のための3Dアノテーションに大きく依存しており、それらが狭いカテゴリに限定され、効率的なスケーリングを妨げる。 本研究では,大規模な視覚基盤モデルから得られた擬似対応を利用して,3次元アノテーションを使わずにトレーニングした新しいニューラルネットワークモデルであるDINeMoを提案する。 我々は,局所的な外観特徴とグローバルな文脈情報の両方を利用した擬似対応を生成する,双方向の擬似対応生成手法を採用する。 自動車のデータセットに対する実験結果から、私たちのDINeMoは、以前のゼロと少数ショットの3Dポーズ推定を広いマージンで上回り、完全に教師された方法でギャップを67.3%狭めることを示した。 我々のDINeMoは、トレーニング中にラベルのないイメージを組み込む際にも効果的かつ効率的にスケールし、3Dアノテーションに依存する教師あり学習方法よりも有利であることを示す。 私たちのプロジェクトページはhttps://analysis-by- synthesis.github.io/DINeMo/で公開されています。

関連論文リスト

• Semi-supervised 3D Semantic Scene Completion with 2D Vision Foundation Model Guidance [8.07701188057789]
  我々は、高密度な注釈付きデータへの依存を軽減するために、新しい半教師付きフレームワークを導入する。 提案手法は2次元基礎モデルを用いて3次元シーンの幾何学的・意味的手がかりを生成する。 本手法は,10%のラベル付きデータを用いて全教師付き性能の最大85%を達成する。
  論文  参考訳（メタデータ） (2024-08-21T12:13:18Z)
• Improving 2D Feature Representations by 3D-Aware Fine-Tuning [17.01280751430423]
  現在の視覚基礎モデルは、構造化されていない2Dデータに基づいて純粋に訓練されている。 3次元認識データの微調整により,出現するセマンティックな特徴の質が向上することを示す。
  論文  参考訳（メタデータ） (2024-07-29T17:59:21Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Data Efficient 3D Learner via Knowledge Transferred from 2D Model [30.077342050473515]
  我々は、RGB-D画像を介して強力な2Dモデルから知識を伝達することで、3Dタスクのデータ不足に対処する。 擬似ラベルを用いたRGB-D画像の強化には,2次元画像の強いセマンティック・セマンティック・セマンティック・セマンティック・セマンティクス・モデルを用いる。 提案手法は,3次元ラベルの効率向上に適した既存の最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2022-03-16T09:14:44Z)
• Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds [96.9027094562957]
  ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。 幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。 STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
  論文  参考訳（メタデータ） (2021-09-01T04:17:11Z)
• PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
  単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。 私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。 我々はこれらのアルゴリズムを自律運転システムに統合した。
  論文  参考訳（メタデータ） (2020-07-16T05:02:45Z)
• Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
  3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。 既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。 結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
  論文  参考訳（メタデータ） (2020-04-07T20:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。