論文の概要: ControlFlow3D: Distilling Multi-View Knowledge into Latent Flow Matching for Point Cloud Upsampling

• arxiv url: http://arxiv.org/abs/2610.21190v1
• Date: Thu, 15 Oct 2026 03:50:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.166966
• Title: ControlFlow3D: Distilling Multi-View Knowledge into Latent Flow Matching for Point Cloud Upsampling
• Title（参考訳）: ControlFlow3D: ポイントクラウドアップサンプリングのための遅延フローマッチングにマルチビュー知識を蒸留する
• Abstract要約: トレーニング中に,事前学習した基礎モデルから知識を軽量な生成ネットワークに抽出するフレームワークであるControlFlow3Dを提案する。 具体的には,凍結した3次元エンコーダによって定義された構造化潜在空間において条件付きフローマッチングを行う。 また,35KオブジェクトのマルチモーダルベンチマークであるShapeNetPUを構築した。
• 参考スコア（独自算出の注目度）: 22.585787757816117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point cloud upsampling is essential for 3D applications but remains challenging due to sparse, under-constrained observations. Multi-view images can resolve geometric ambiguity, but existing multi-modal methods do not fully exploit visual cues. We propose ControlFlow3D, a framework that distills knowledge from pretrained foundation models into a lightweight generation network during training, enabling strong performance without multi-view images available at test time. Specifically, our method performs conditional flow matching in a structured latent space defined by a frozen 3D encoder. Multi-view image tokens and 3D latent tokens are jointly clustered into shared prototypes via unsupervised soft KMeans; the resulting prototypes guide the flow trajectory through velocity control and are aligned by a consistency loss that progressively transfers image knowledge into the base network. A Mamba-based geometry decoder then maps latent features to dense coordinates with linear complexity. We also construct ShapeNetPU, a 35K-object multi-modal benchmark that is 31 times larger than prior datasets. Extensive experiments across multiple benchmarks demonstrate the effectiveness of our method and its strong generalization capability.
• Abstract（参考訳）: ポイント・クラウド・アップサンプリングは3Dアプリケーションには不可欠であるが、希少で制約の少ない観測のために依然として困難である。 マルチビュー画像は幾何学的曖昧さを解消できるが、既存のマルチモーダル手法では視覚的手がかりを完全に活用できない。 本研究では,事前学習した基礎モデルの知識をトレーニング中に軽量な生成ネットワークに抽出するフレームワークであるControlFlow3Dを提案する。 具体的には,凍結した3次元エンコーダによって定義された構造化潜在空間において条件付きフローマッチングを行う。 マルチビュー画像トークンと3D潜在トークンは、教師なしのソフトKMeansを介して、共同で共有プロトタイプにクラスタリングされる。 マンバをベースとした幾何デコーダは、遅延特徴を線形複雑性を持つ高密度座標にマッピングする。 また,35KオブジェクトのマルチモーダルベンチマークであるShapeNetPUを構築した。 複数のベンチマークにまたがる大規模な実験により,本手法の有効性と強力な一般化能力が示された。

関連論文リスト

• xModel-KD: Cross-modal Knowledge Distillation for 3D Scene Perception using LiDAR [1.0055428846517074]
  本稿では,3次元点雲分割のためのクロスモーダルな知識蒸留フレームワーク xModel-KD を提案する。 本手法は,2次元テクスチャと3次元幾何の相補的な長所を利用して,一意な点ごとの表現を学習する。 実験結果から,LiDARのみのベースラインよりもmIoUが2%絶対的に向上することが示唆された。
  論文  参考訳（メタデータ） (2026-05-28T15:48:38Z)
• Neural Visibility of Point Sets [31.13434703858653]
  本稿では,2進分類タスクとして定式化することで,点雲の可視性判定に新たなアプローチを提案する。 我々のネットワークは、レンダリングされた3Dモデルから生成された地味な可視性ラベルでエンドツーエンドに訓練されている。 提案手法は,HPRの精度と計算効率を両立させ,最大126倍の高速化を実現した。
  論文  参考訳（メタデータ） (2025-09-29T00:54:00Z)
• Point Cloud Self-supervised Learning via 3D to Multi-view Masked Learner [19.908670991088556]
  本稿では,3次元と投影された2次元特徴から点雲と多視点画像を再構成する3次元から多視点自動エンコーダを提案する。 2次元と3次元の表現を整合させる新しい2段階の自己学習戦略が提案されている。 提案手法は,3次元分類,部分分割,オブジェクト検出など,さまざまな下流タスクにおいて,最先端のタスクよりも優れる。
  論文  参考訳（メタデータ） (2023-11-17T22:10:03Z)
• ConsistNet: Enforcing 3D Consistency for Multi-view Images Diffusion [61.37481051263816]
  本稿では,1つの3Dオブジェクトのイメージが与えられた場合,同じオブジェクトの複数の画像を生成できる手法(ConsistNet)を提案する。 凍結したZero123のバックボーン上での3次元の一貫性を効果的に学習し、1つのA100 GPU上で40秒以内でオブジェクトの周囲のビューを生成する。
  論文  参考訳（メタデータ） (2023-10-16T12:29:29Z)
• Paint and Distill: Boosting 3D Object Detection with Semantic Passing Network [70.53093934205057]
  ライダーやカメラセンサーからの3Dオブジェクト検出タスクは、自動運転に不可欠である。 本研究では,既存のライダーベース3D検出モデルの性能向上を図るために,SPNetという新しいセマンティックパスフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-12T12:35:34Z)
• PointMCD: Boosting Deep Point Cloud Encoders via Multi-view Cross-modal Distillation for 3D Shape Recognition [55.38462937452363]
  本稿では,教師として事前訓練されたディープイメージエンコーダ,学生としてディープポイントエンコーダを含む多視点クロスモーダル蒸留アーキテクチャを提案する。 複数ビューの視覚的および幾何学的記述子をペアワイズにアライメントすることで、より強力なディープポイントエンコーダを、疲労や複雑なネットワーク修正を伴わずに得ることができる。
  論文  参考訳（メタデータ） (2022-07-07T07:23:20Z)
• Voint Cloud: Multi-View Point Cloud Representation for 3D Understanding [80.04281842702294]
  本稿では,複数の視点から抽出した特徴の集合として,各3次元点を表す多視点クラウド(Voint Cloud)の概念を紹介する。 この新しい3次元Vointクラウド表現は、3Dポイントクラウド表現のコンパクト性と、マルチビュー表現の自然なビュー認識性を組み合わせたものである。 理論的に確立された機能を持つVointニューラルネットワーク(VointNet)をデプロイし,Voint空間の表現を学習する。
  論文  参考訳（メタデータ） (2021-11-30T13:08:19Z)
• Exploring Data Augmentation for Multi-Modality 3D Object Detection [82.9988604088494]
  ポイントクラウドとイメージに基づくマルチモダリティメソッドは、ポイントクラウドのみを使用するアプローチよりも、わずかに良いか、時には悪いだけである。 トランスフォーメーションフローと呼ばれるパイプラインを提案し、トランスフォーメーションのリバースとリプレイによってシングルモードとマルチモードのデータ拡張のギャップを埋める。 また,本手法は第3回nuScenes検出チャレンジでPKL賞を受賞した。
  論文  参考訳（メタデータ） (2020-12-23T15:23:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。