論文の概要: Any2Point: Empowering Any-modality Large Models for Efficient 3D Understanding

• arxiv url: http://arxiv.org/abs/2404.07989v3
• Date: Mon, 21 Oct 2024 10:54:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:15:19.077991
• Title: Any2Point: Empowering Any-modality Large Models for Efficient 3D Understanding
• Title（参考訳）: Any2Point: 効率的な3D理解のためのあらゆるモダリティ大モデル
• Authors: Yiwen Tang, Ray Zhang, Jiaming Liu, Zoey Guo, Dong Wang, Zhigang Wang, Bin Zhao, Shanghang Zhang, Peng Gao, Hongsheng Li, Xuelong Li,
• Abstract要約: 我々は,Any2Pointというパラメータ効率のよい大規模モデル(ビジョン,言語,音声)を3次元理解に活用する手法を紹介した。 入力された3Dポイントと元の1Dまたは2D位置との相関関係を示す3D-to-any (1Dまたは2D)仮想プロジェクション戦略を提案する。
• 参考スコア（独自算出の注目度）: 83.63231467746598
• License:
• Abstract: Large foundation models have recently emerged as a prominent focus of interest, attaining superior performance in widespread scenarios. Due to the scarcity of 3D data, many efforts have been made to adapt pre-trained transformers from vision to 3D domains. However, such 2D-to-3D approaches are still limited, due to the potential loss of spatial geometries and high computation cost. More importantly, their frameworks are mainly designed for 2D models, lacking a general any-to-3D paradigm. In this paper, we introduce Any2Point, a parameter-efficient method to empower any-modality large models (vision, language, audio) for 3D understanding. Given a frozen transformer from any source modality, we propose a 3D-to-any (1D or 2D) virtual projection strategy that correlates the input 3D points to the original 1D or 2D positions within the source modality. This mechanism enables us to assign each 3D token with a positional encoding paired with the pre-trained model, which avoids 3D geometry loss caused by the true projection and better motivates the transformer for 3D learning with 1D/2D positional priors. Then, within each transformer block, we insert an any-to-3D guided adapter module for parameter-efficient fine-tuning. The adapter incorporates prior spatial knowledge from the source modality to guide the local feature aggregation of 3D tokens, compelling the semantic adaption of any-modality transformers. We conduct extensive experiments to showcase the effectiveness and efficiency of our method. Code and models are released at https://github.com/Ivan-Tang-3D/Any2Point.
• Abstract（参考訳）: 大規模な基盤モデルは近年注目の的となり、幅広いシナリオにおいて優れたパフォーマンスを実現している。 3Dデータの不足のため、事前学習されたトランスフォーマーを視覚から3D領域に適応させる取り組みが数多く行われている。 しかし、空間幾何学の潜在的な損失と高い計算コストのため、そのような2次元から3次元へのアプローチは依然として限られている。 さらに重要なのは、それらのフレームワークが主に2Dモデル用に設計されており、一般的なノン・ツー・3Dパラダイムが欠如していることだ。 本稿では,Any2Pointを提案する。Any2Pointは,任意のモダリティ大モデル(ビジョン,言語,音声)を3次元理解に活用するためのパラメータ効率のよい手法である。 任意の震源モードから凍結した変圧器が与えられた場合、入力された3Dポイントを原震源モード内の原震源1Dまたは2D位置と相関する3D-to-any (1Dまたは2D)仮想射影戦略を提案する。 この機構により、各3次元トークンに事前訓練されたモデルと組み合わせた位置符号化を割り当てることができ、これは真の投影による3次元幾何学的損失を回避し、1D/2D位置前処理による3次元学習のモチベーションを向上させる。 そして,各トランスブロック内にパラメータ効率のよい微調整用アダプタモジュールを挿入する。 このアダプタは、3Dトークンの局所的な特徴集約を導くために、ソースモダリティからの事前の空間知識を取り入れ、任意のモダリティトランスフォーマーのセマンティック適応を説得する。 提案手法の有効性と有効性を示すため, 広範囲な実験を行った。 コードとモデルはhttps://github.com/Ivan-Tang-3D/Any2Pointで公開されている。

関連論文リスト

• ConDense: Consistent 2D/3D Pre-training for Dense and Sparse Features from Multi-View Images [47.682942867405224]
  ConDenseは既存の2Dネットワークと大規模マルチビューデータセットを利用した3D事前トレーニングのためのフレームワークである。 組込み型2Dと3Dの特徴をエンドツーエンドのパイプラインで抽出する新しい2D-3Dジョイントトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T05:57:01Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)
• Act3D: 3D Feature Field Transformers for Multi-Task Robotic Manipulation [18.964403296437027]
  Act3Dは、手作業に依存する適応的な解像度を持つ3D特徴体を用いて、ロボットのワークスペースを表現する。 粗い方法で3Dポイントグリッドをサンプリングし、相対的な位置の注意を使ってそれらを巧みに加工し、次の点サンプリングのラウンドにフォーカスする場所を選択する。
  論文  参考訳（メタデータ） (2023-06-30T17:34:06Z)
• Asymmetric 3D Context Fusion for Universal Lesion Detection [55.61873234187917]
  3Dネットワークは、3Dコンテキストでは強いが、教師付き事前トレーニングがない。 既存の3Dコンテキスト融合演算子は空間対称に設計されており、畳み込みのように各2Dスライス上で同一の操作を行う。 本研究では, 異なる重みを持つ非対称な3次元コンテキスト融合演算子 (A3D) を提案し, 異なる2次元スライスから3次元コンテキストを融合させる。
  論文  参考訳（メタデータ） (2021-09-17T16:25:10Z)
• FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection [78.00922683083776]
  一般的な2D検出器をこの3Dタスクで動作させることは簡単ではない。 本報告では,完全畳み込み型単段検出器を用いた手法を用いてこの問題を考察する。 私たちのソリューションは、NeurIPS 2020のnuScenes 3D検出チャレンジのすべてのビジョンのみの方法の中で1位を獲得します。
  論文  参考訳（メタデータ） (2021-04-22T09:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。