論文の概要: Probing the 3D Awareness of Visual Foundation Models

• arxiv url: http://arxiv.org/abs/2404.08636v1
• Date: Fri, 12 Apr 2024 17:58:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 14:18:01.727739
• Title: Probing the 3D Awareness of Visual Foundation Models
• Title（参考訳）: ビジュアルファウンデーションモデルにおける3次元認識の探索
• Authors: Mohamed El Banani, Amit Raj, Kevis-Kokitsi Maninis, Abhishek Kar, Yuanzhen Li, Michael Rubinstein, Deqing Sun, Leonidas Guibas, Justin Johnson, Varun Jampani,
• Abstract要約: 視覚基礎モデルの3次元認識を解析する。 凍結した特徴に対するタスク固有プローブとゼロショット推論手法を用いて実験を行う。
• 参考スコア（独自算出の注目度）: 56.68380136809413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their intermediate representations are useful for other visual tasks such as detection and segmentation. Given that such models can classify, delineate, and localize objects in 2D, we ask whether they also represent their 3D structure? In this work, we analyze the 3D awareness of visual foundation models. We posit that 3D awareness implies that representations (1) encode the 3D structure of the scene and (2) consistently represent the surface across views. We conduct a series of experiments using task-specific probes and zero-shot inference procedures on frozen features. Our experiments reveal several limitations of the current models. Our code and analysis can be found at https://github.com/mbanani/probe3d.
• Abstract（参考訳）: 大規模プレトレーニングの最近の進歩は、強力な機能を持つ視覚基盤モデルを生み出している。 最近のモデルは、トレーニングタスクの任意の画像に一般化できるだけでなく、その中間表現は検出やセグメンテーションといった他の視覚的タスクにも有用である。 そのようなモデルが2Dでオブジェクトを分類、デライン化し、ローカライズできることを考えると、それらがそれらの3D構造を表わすかどうかを問う。 本研究では,視覚基盤モデルの3次元認識を分析する。 我々は,(1)表現がシーンの3次元構造をエンコードし,(2)図面を連続的に表現することを3次元認識が意味していると仮定する。 凍結した特徴に対するタスク固有プローブとゼロショット推論手順を用いて一連の実験を行う。 我々の実験は、現在のモデルのいくつかの制限を明らかにした。 私たちのコードと分析はhttps://github.com/mbanani/probe3d.comで確認できます。

関連論文リスト

• Improving 2D Feature Representations by 3D-Aware Fine-Tuning [17.01280751430423]
  現在の視覚基礎モデルは、構造化されていない2Dデータに基づいて純粋に訓練されている。 3次元認識データの微調整により,出現するセマンティックな特徴の質が向上することを示す。
  論文  参考訳（メタデータ） (2024-07-29T17:59:21Z)
• Unsupervised Learning of Category-Level 3D Pose from Object-Centric Videos [15.532504015622159]
  カテゴリーレベルの3Dポーズ推定は、コンピュータビジョンとロボット工学において基本的に重要な問題である。 カテゴリーレベルの3Dポーズを,カジュアルに撮られた対象中心の動画からのみ推定する学習の課題に取り組む。
  論文  参考訳（メタデータ） (2024-07-05T09:43:05Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Visual Localization using Imperfect 3D Models from the Internet [54.731309449883284]
  本稿では,3次元モデルにおける欠陥が局所化精度に与える影響について検討する。 インターネットから得られる3Dモデルは、容易に表現できるシーン表現として有望であることを示す。
  論文  参考訳（メタデータ） (2023-04-12T16:15:05Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
  テクスチャ化された3Dメッシュの最初の生成モデルを示す。 我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。 レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
  論文  参考訳（メタデータ） (2020-04-08T18:00:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。