論文の概要: MeshFM: 2D Features Are All You Need for 3D Shape Understanding

• arxiv url: http://arxiv.org/abs/2607.27592v1
• Date: Thu, 30 Jul 2026 02:22:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.364468
• Title: MeshFM: 2D Features Are All You Need for 3D Shape Understanding
• Title（参考訳）: MeshFM:3D形状理解に必要な2D機能
• Abstract要約: MeshFMは、3D入力からリッチな特徴を抽出する効率的なフレームワークである。 我々はフィードフォワードネットワークをトレーニングし、推論中に最適化を必要とせずに直接3D特徴を予測する。
• 参考スコア（独自算出の注目度）: 15.930410067984198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present MeshFM, an efficient feedforward framework for extracting rich features from 3D inputs. Our method distills 2D features from visual foundation models into 3D. We train a feedforward network to directly predict 3D features without requiring optimization during inference. The approach utilizes a two-stage training strategy. First, we optimize a feature field in 3D using only 2D feature supervision. Second, we train a network to regress this feature field. The entire procedure requires no 3D annotation, instead relying on the powerful information in 2D foundation models. We demonstrate that our learned features can be immediately applied to downstream tasks, including part segmentation, dense correspondence, and mesh deformation. Extensive experiments show that MeshFM, trained solely with 2D supervision, performs on par with methods trained explicitly with 3D supervision, even without task-specific fine-tuning. Moreover, our model is trained to be robust to extreme rotations of the input objects. Project page: https://threedle.github.io/MeshFM/
• Abstract（参考訳）: 3次元入力からリッチな特徴を抽出する効率的なフィードフォワードフレームワークであるMeshFMを提案する。 本手法は,視覚基礎モデルから3Dに2次元特徴を抽出する。 我々はフィードフォワードネットワークをトレーニングし、推論中に最適化を必要とせずに直接3D特徴を予測する。 このアプローチは2段階のトレーニング戦略を利用する。 まず,2次元特徴監督のみを用いて3次元の特徴場を最適化する。 次に、この機能フィールドを回帰するためにネットワークをトレーニングします。 手順全体は3Dアノテーションを必要とせず、代わりに2D基礎モデルの強力な情報に頼る。 学習した特徴が、部分分割、高密度対応、メッシュ変形など、下流タスクに即座に適用できることを実証する。 大規模な実験により、MeshFMは2Dの監督だけで訓練され、タスク固有の微調整なしでも、明示的に3Dの監督で訓練された手法と同等に機能することが示された。 さらに,本モデルは,入力対象の極端回転に対して頑健であるように訓練されている。 プロジェクトページ:https:// Threedle.github.io/MeshFM/

関連論文リスト

• TriCLIP-3D: A Unified Parameter-Efficient Framework for Tri-Modal 3D Visual Grounding based on CLIP [52.79100775328595]
  3Dビジュアルグラウンドティングは、人間の指示に基づいて現実世界の3D環境における視覚情報を理解するための具体的エージェントである。 既存の3Dビジュアルグラウンド法は、異なるモダリティの異なるエンコーダに依存している。 本稿では,3つのモードすべてを処理するために,統合された2次元事前学習型マルチモーダルネットワークを提案する。
  論文  参考訳（メタデータ） (2025-07-20T10:28:06Z)
• A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision [65.33043028101471]
  本稿では,2次元監視のみを用いた3次元画像調和拡散モデルの学習フレームワークを提案する。 既存の3D生成モデルは、大規模な3Dデータセットが不足しているため、完全に3Dの監視に依存している。
  論文  参考訳（メタデータ） (2024-12-01T00:29:57Z)
• ConDense: Consistent 2D/3D Pre-training for Dense and Sparse Features from Multi-View Images [47.682942867405224]
  ConDenseは既存の2Dネットワークと大規模マルチビューデータセットを利用した3D事前トレーニングのためのフレームワークである。 組込み型2Dと3Dの特徴をエンドツーエンドのパイプラインで抽出する新しい2D-3Dジョイントトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T05:57:01Z)
• EmbodiedSAM: Online Segment Any 3D Thing in Real Time [61.2321497708998]
  身体的なタスクは、エージェントが探索と同時に3Dシーンを完全に理解する必要がある。 オンライン、リアルタイム、微粒化、高度に一般化された3D知覚モデルは、必死に必要である。
  論文  参考訳（メタデータ） (2024-08-21T17:57:06Z)
• Improving 2D Feature Representations by 3D-Aware Fine-Tuning [17.01280751430423]
  現在の視覚基礎モデルは、構造化されていない2Dデータに基づいて純粋に訓練されている。 3次元認識データの微調整により,出現するセマンティックな特徴の質が向上することを示す。
  論文  参考訳（メタデータ） (2024-07-29T17:59:21Z)
• Any2Point: Empowering Any-modality Large Models for Efficient 3D Understanding [83.63231467746598]
  我々は,Any2Pointというパラメータ効率のよい大規模モデル(ビジョン,言語,音声)を3次元理解に活用する手法を紹介した。 入力された3Dポイントと元の1Dまたは2D位置との相関関係を示す3D-to-any (1Dまたは2D)仮想プロジェクション戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-11T17:59:45Z)
• Multi-View Representation is What You Need for Point-Cloud Pre-Training [22.55455166875263]
  本稿では,事前学習した2次元ネットワークを利用して3次元表現を学習するポイントクラウド事前学習手法を提案する。 我々は,新しい2次元知識伝達損失の助けを借りて,3次元特徴抽出ネットワークを訓練する。 実験結果から,事前学習したモデルを様々な下流タスクに転送できることが判明した。
  論文  参考訳（メタデータ） (2023-06-05T03:14:54Z)
• Multi-Modality Task Cascade for 3D Object Detection [22.131228757850373]
  多くの手法は2つのモデルを個別に訓練し、単純な特徴結合を用いて3Dセンサーデータを表現している。 本稿では,3次元ボックスの提案を利用して2次元セグメンテーション予測を改善する新しいマルチモードタスクカスケードネットワーク(MTC-RCNN)を提案する。 2段階の3次元モジュール間の2次元ネットワークを組み込むことで,2次元および3次元のタスク性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-07-08T17:55:01Z)
• Learning from 2D: Pixel-to-Point Knowledge Transfer for 3D Pretraining [21.878815180924832]
  豊富な2Dデータセットから学んだ2Dネットワークを活用した新しい3Dプリトレーニング手法を提案する。 実験により,2次元知識を事前学習した3次元モデルにより,実世界の様々な3次元ダウンストリームタスクのパフォーマンスが向上することを示した。
  論文  参考訳（メタデータ） (2021-04-10T05:40:42Z)
• 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
  大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。 まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。 次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。 第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
  論文  参考訳（メタデータ） (2021-04-06T02:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。