論文の概要: 3D-LFM: Lifting Foundation Model

• arxiv url: http://arxiv.org/abs/2312.11894v2
• Date: Fri, 26 Apr 2024 05:54:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 17:48:19.308712
• Title: 3D-LFM: Lifting Foundation Model
• Title（参考訳）: 3D-LFM: Lifting Foundation Model
• Authors: Mosam Dabhi, Laszlo A. Jeni, Simon Lucey,
• Abstract要約: ディープラーニングは、幅広いオブジェクトクラスを再構築する能力を拡大しました。 提案手法は, 3次元データインスタンス毎に異なる数点を管理するために, 固有置換同値変換器を利用する。 本稿では,2D-3Dリフトタスクベンチマークにおけるアートパフォーマンスについて述べる。
• 参考スコア（独自算出の注目度）: 29.48835001900286
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The lifting of 3D structure and camera from 2D landmarks is at the cornerstone of the entire discipline of computer vision. Traditional methods have been confined to specific rigid objects, such as those in Perspective-n-Point (PnP) problems, but deep learning has expanded our capability to reconstruct a wide range of object classes (e.g. C3DPO and PAUL) with resilience to noise, occlusions, and perspective distortions. All these techniques, however, have been limited by the fundamental need to establish correspondences across the 3D training data -- significantly limiting their utility to applications where one has an abundance of "in-correspondence" 3D data. Our approach harnesses the inherent permutation equivariance of transformers to manage varying number of points per 3D data instance, withstands occlusions, and generalizes to unseen categories. We demonstrate state of the art performance across 2D-3D lifting task benchmarks. Since our approach can be trained across such a broad class of structures we refer to it simply as a 3D Lifting Foundation Model (3D-LFM) -- the first of its kind.
• Abstract（参考訳）: 3D構造とカメラを2Dランドマークから持ち上げることは、コンピュータビジョンのすべての分野の基礎となっている。 従来の手法は、パースペクティブ-n-Point(PnP)問題のような特定の剛性オブジェクトに限られていたが、ディープラーニングは、ノイズ、オクルージョン、パースペクティブ歪みに対する耐性を持つ広範囲のオブジェクトクラス(例えばC3DPOやPAUL)を再構成する能力を拡張した。 しかし、これらすべての技術は、3Dトレーニングデータ全体にわたる対応を確立するための基本的な必要性によって制限されている。 提案手法は変圧器の固有置換等式を利用して,3次元データインスタンスあたりの点数の変動を管理し,オクルージョンに耐え,未知のカテゴリに一般化する。 2D-3Dリフトタスクベンチマークにおける最先端性能を実証する。 私たちのアプローチは、このような幅広い種類の構造でトレーニングできるので、単に3D Lifting Foundation Model(3D-LFM)と呼びます。

関連論文リスト

• Learning 3D Representations from Procedural 3D Programs [6.915871213703219]
  自己教師付き学習は、ラベルのない3Dポイントクラウドから転送可能な3D表現を取得するための有望なアプローチとして登場した。 簡単なプリミティブと拡張を使って3次元形状を自動的に生成する手続き型3Dプログラムから3次元表現を学習する。
  論文  参考訳（メタデータ） (2024-11-25T18:59:57Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• NeurOCS: Neural NOCS Supervision for Monocular 3D Object Localization [80.3424839706698]
  入力として3Dボックスをインスタンスマスクとして使用するNeurOCSを提案する。 われわれのアプローチは、実際の運転シーンから直接カテゴリレベルの形状を学習する際の洞察に依存している。 我々は、オブジェクト中心の視点からオブジェクト座標をより効果的に学習するための重要な設計選択を行う。
  論文  参考訳（メタデータ） (2023-05-28T16:18:41Z)
• Multiview Compressive Coding for 3D Reconstruction [77.95706553743626]
  単一オブジェクトの3Dポイントやシーン全体で動作するシンプルなフレームワークを紹介します。 我々のモデルであるMultiview Compressive Codingは、入力の外観と形状を圧縮して3次元構造を予測する。
  論文  参考訳（メタデータ） (2023-01-19T18:59:52Z)
• Unsupervised Learning of Visual 3D Keypoints for Control [104.92063943162896]
  高次元画像からの感覚運動制御ポリシーの学習は、基礎となる視覚表現の品質に大きく依存する。 本稿では,画像から3次元幾何学的構造を直接教師なしで学習するフレームワークを提案する。 これらの発見された3Dキーポイントは、時間と3D空間の両方で一貫した方法で、ロボットの関節と物体の動きを有意義にキャプチャする傾向がある。
  論文  参考訳（メタデータ） (2021-06-14T17:59:59Z)
• Info3D: Representation Learning on 3D Objects using Mutual Information Maximization and Contrastive Learning [8.448611728105513]
  本稿では,3次元形状に関するInfoMaxと対照的な学習原理を拡張することを提案する。 我々は3Dオブジェクトとその「チャンク」間の相互情報を最大化して、整列したデータセットにおける表現を改善することができることを示す。
  論文  参考訳（メタデータ） (2020-06-04T00:30:26Z)
• Deep NRSfM++: Towards Unsupervised 2D-3D Lifting in the Wild [44.78174845839193]
  上記の課題に対処するために,学習に基づくNRSfM法を改善するための戦略を提案する。 当社のアプローチであるDeep NRSfM++は、多数の大規模ベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-01-27T21:14:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。