論文の概要: Geometric Foundation Model Distillation for Efficient Lunar 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2607.01851v1
• Date: Thu, 02 Jul 2026 08:11:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.740582
• Title: Geometric Foundation Model Distillation for Efficient Lunar 3D Reconstruction
• Title（参考訳）: 効率的な月状骨3次元再建のための幾何学的基礎モデル蒸留法
• Abstract要約: MASt3Rのような大規模な3Dファンデーションモデルは最先端のステレオ再構成を実現するが、厳密なハードウェア制約の下での展開を計算的に要求している。 本研究では, 月面のステレオ再構成を, 難易度, 実用性に配慮したケーススタディとして, 知識蒸留により, どこまで圧縮できるかを考察する。
• 参考スコア（独自算出の注目度）: 0.13999481573773068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large 3D foundation models such as MASt3R achieve state-of-the-art stereo reconstruction but are computationally demanding for deployment under strict hardware constraints -- a critical limitation in domains such as planetary exploration, where onboard computing is severely restricted. We study how far such models can be compressed through knowledge distillation, using lunar stereo reconstruction as a challenging and practically relevant case study. Starting from a 688M-parameter MASt3R teacher fine-tuned on lunar imagery, we distill its dense geometric predictions into a family of lightweight students spanning different encoder types (CNN vs ViT), decoder widths and depths, and training strategies. To bridge the dimensional mismatch between teacher and student, we propose a structured SVD-based initialization that projects the teacher's decoder weights into the student's smaller latent space, yielding a warm start that significantly improves convergence and final performance. Based on our results on lunar data, we can obtain a distilled student that retains most of teacher's reconstruction accuracy while reducing the model size up to 7 times, and even outperforms a baseline trained directly with sparse ground-truth annotations. Beyond compression, our study highlights both principles and practical insights for distilling geometric foundation models: a convolutional encoder underperforms transformer-based alternatives (though pretraining availability remains a confounding factor), preserving encoder capacity is more critical than maintaining a large decoder, feature-level distillation consistently outperforms output-only supervision, and SVD-based initialization improves optimisation stability. These findings provide practical guidelines for deploying 3D reconstruction models in resource-constrained environments.
• Abstract（参考訳）: MASt3Rのような大規模な3Dファンデーションモデルは、最先端のステレオ再構築を実現するが、厳格なハードウェア制約の下での展開を計算的に要求している。 本研究では, 月面のステレオ再構成を, 難易度, 実用性に配慮したケーススタディとして, 知識蒸留による圧縮の程度について検討する。 月像を微調整した688MパラメータMASt3Rの教師から始まり、その密度の高い幾何学的予測を、異なるエンコーダタイプ(CNN vs ViT)、デコーダ幅と深さ、トレーニング戦略にまたがる軽量な学生の家族に蒸留する。 教師と生徒の次元的ミスマッチを橋渡しするために,教師のデコーダ重みを小さな潜伏空間に投影する構造化SVDに基づく初期化を提案する。 月面データに基づく結果から,教師の再現精度を最大7倍に抑えながら,教師の復元精度のほとんどを保ちながら,低速な接地的アノテーションで直接訓練したベースラインよりも優れる蒸留学生を得ることができた。 畳み込みエンコーダはトランスフォーマーベースの代替品を過小評価する(ただし、事前学習は相反する要因である)、エンコーダの保存能力は大きなデコーダを維持することよりも重要であり、特徴レベルの蒸留は出力のみの監督を一貫して上回り、SVDベースの初期化は最適化安定性を向上させる。 これらの知見は,資源制約環境における3次元再構成モデルの展開に関する実践的ガイドラインを提供する。

関連論文リスト

• Reliev3R: Relieving Feed-forward Reconstruction from Multi-View Geometric Annotations [98.66466590444553]
  コスト制約のない多視点幾何アノテーションを使わずにFFRMをスクラッチからトレーニングするための弱教師付きパラダイムであるReliev3Rを提案する。 Reliev3Rのコアでは、多視点幾何整合性の監視を容易にするために、曖昧さを意識した相対深度損失と三角法に基づく再射損失を設計する。
  論文  参考訳（メタデータ） (2026-04-01T06:46:54Z)
• S-MUSt3R: Sliding Multi-view 3D Reconstruction [17.018626984951823]
  本研究はS-MUSt3Rを提案する。S-MUSt3Rは単分子3次元再構成のための基礎モデルの限界を拡張するシンプルで効率的なパイプラインである。 我々は,S-MUSt3Rが長いRGBシーケンス上で正常に動作し,高精度で一貫した3D再構成を実現することを示す。
  論文  参考訳（メタデータ） (2026-02-04T13:07:14Z)
• Distill3R: A Pipeline for Democratizing 3D Foundation Models on Commodity Hardware [2.676349883103404]
  Distill3Rは、3D基礎モデルの幾何学的推論を1台のワークステーションで完全に訓練可能なコンパクトな学生に蒸留するために設計されたフレームワークである。 提案手法は,(1)教師の重度推論を訓練ループから圧縮した監視信号で分離するオフラインキャッシュパイプライン,(2)教師の不確実性を活用して,コモディティハードウェア上でのトレーニングを可能にする信頼度の高い蒸留損失の2つの主要なイノベーションに焦点を当てた。
  論文  参考訳（メタデータ） (2026-01-31T18:56:45Z)
• TAP-CT: 3D Task-Agnostic Pretraining of Computed Tomography Foundation Models [39.00742360251856]
  医療領域における既存の基礎モデル(FM)は、広範囲の微調整を必要とする場合や、リソース集約型デコーダの訓練に頼っている場合が多い。 我々は,CT基盤モデル(TAP-CT)のタスクに依存しない事前学習スイートを紹介する。 提案手法では,埋め込み,位置エンコーディング,ボリューム拡張のパッチ修正を対象とし,アーキテクチャの奥行きを認識している。
  論文  参考訳（メタデータ） (2025-11-30T12:43:15Z)
• Foundry: Distilling 3D Foundation Models for the Edge [15.177160184417575]
  Foundation Model Distillation (FMD)は、大規模なSSLモデルをコンパクトプロキシに圧縮するための新しいパラダイムである。 3DポイントクラウドのためのFMDの最初の実装であるFoundryを紹介します。
  論文  参考訳（メタデータ） (2025-11-25T07:53:56Z)
• MoRE: 3D Visual Geometry Reconstruction Meets Mixture-of-Experts [50.37005070020306]
  MoREは、Mixture-of-Experts (MoE)アーキテクチャに基づいた、密集した3Dビジュアル基盤モデルである。 MoREは、幾何推定を安定させ、洗練する信頼に基づく深度補正モジュールを組み込んでいる。 高忠実な表面正規予測のために,高密度なセマンティック特徴とグローバルな3Dバックボーン表現を統合する。
  論文  参考訳（メタデータ） (2025-10-31T06:54:27Z)
• On Geometry-Enhanced Parameter-Efficient Fine-Tuning for 3D Scene Segmentation [52.96632954620623]
  本稿では3Dポイント・クラウド・トランス用に設計された新しい幾何対応PEFTモジュールを提案する。 当社のアプローチでは,大規模3Dポイントクラウドモデルの効率的,スケーラブル,かつ幾何を考慮した微調整のための新しいベンチマークを設定している。
  論文  参考訳（メタデータ） (2025-05-28T15:08:36Z)
• FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [59.13757801286343]
  クラス増分学習(class-incremental learning)は、モデルが限られたデータで漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 本稿では,特徴空間の不整合のための冗長特徴除去器 (RFE) と,重要な雑音に対する空間ノイズ補償器 (SNC) の2つの新しいコンポーネントを備えたFILP-3Dフレームワークを紹介する。
  論文  参考訳（メタデータ） (2023-12-28T14:52:07Z)
• Asymmetric Masked Distillation for Pre-Training Small Foundation Models [52.56257450614992]
  自己教師型基礎モデルは、マスク付きオートエンコーディングの事前学習パラダイムのおかげで、コンピュータビジョンにおいて大きな可能性を秘めている。 本稿では、下流タスクに効率的に適応できる比較的小さな視覚変換器モデルを事前学習することに焦点を当てる。 自動符号化による比較的小さなモデルの事前学習のための新しい非対称マスク蒸留(AMD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-06T14:44:34Z)
• Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering [93.94371335579321]
  我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
  論文  参考訳（メタデータ） (2023-09-18T12:36:39Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Atlas Based Representation and Metric Learning on Manifolds [0.0]
  本稿では,ニューラルネットワークに基づく表現学習タスクのターゲット空間として,グラフの集合として表される位相多様体の利用について検討する。 これは、エンコーダのネットワークアーキテクチャの出力に対する簡単な調整と、正規化のための最大平均不一致(MMD)に基づく損失関数の追加によって達成される。
  論文  参考訳（メタデータ） (2021-06-13T18:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。