論文の概要: Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video

• arxiv url: http://arxiv.org/abs/2602.07891v1
• Date: Sun, 08 Feb 2026 09:53:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.854936
• Title: Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video
• Title（参考訳）: インターネットビデオからの弱スーパービジョンによる3次元幾何学基礎モデルのスケーラブル適応
• Authors: Zihui Gao, Ke Liu, Donny Y. Chen, Duochao Shi, Guosheng Lin, Hao Chen, Chunhua Shen,
• Abstract要約: 本稿では,生のビデオストリームからGEometric foundationモデルのスケーラブル適応を行うフレームワークであるSAGEを提案する。 階層的なマイニングパイプラインを使用して、ビデオをトレーニングトラジェクトリやハイブリッド監視に変換します。 実験の結果、SAGEはゼロショットの一般化を著しく向上し、チェムファー距離を20-42%削減した。
• 参考スコア（独自算出の注目度）: 76.32954467706581
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Geometric foundation models show promise in 3D reconstruction, yet their progress is severely constrained by the scarcity of diverse, large-scale 3D annotations. While Internet videos offer virtually unlimited raw data, utilizing them as a scaling source for geometric learning is challenging due to the absence of ground-truth geometry and the presence of observational noise. To address this, we propose SAGE, a framework for Scalable Adaptation of GEometric foundation models from raw video streams. SAGE leverages a hierarchical mining pipeline to transform videos into training trajectories and hybrid supervision: (1) Informative training trajectory selection; (2) Sparse Geometric Anchoring via SfM point clouds for global structural guidance; and (3) Dense Differentiable Consistency via 3D Gaussian rendering for multi-view constraints. To prevent catastrophic forgetting, we introduce a regularization strategy using anchor data. Extensive experiments show that SAGE significantly enhances zero-shot generalization, reducing Chamfer Distance by 20-42% on unseen benchmarks (7Scenes, TUM-RGBD, Matterport3D) compared to state-of-the-art baselines. To our knowledge, SAGE pioneers the adaptation of geometric foundation models via Internet video, establishing a scalable paradigm for general-purpose 3D learning.
• Abstract（参考訳）: 幾何学的基礎モデルは3D再構成において有望であるが、その進歩は多種多様な大規模3Dアノテーションの不足によって厳しく制約されている。 インターネットビデオは、ほぼ無制限の生データを提供するが、地表面形状の欠如と観測ノイズの存在のため、幾何学習のスケーリング源として利用することは困難である。 そこで本研究では,生のビデオストリームからGEometric foundationモデルのスケーラブル適応を行うフレームワークであるSAGEを提案する。 SAGEは階層的なマイニングパイプラインを利用して、動画をトレーニング軌跡やハイブリッド監視に変換する。(1) インフォーマティブなトレーニング軌跡選択、(2) グローバルな構造誘導のためのSfM点雲による疎幾何アンコリング、(3) マルチビュー制約のための3DガウスレンダリングによるDense Differentiable Consistency。 破滅的な忘れを防止するため,アンカーデータを用いた正規化戦略を導入する。 大規模な実験により、SAGEはゼロショットの一般化を著しく向上させ、最先端のベースラインと比較して、目に見えないベンチマーク(7Scenes、TUM-RGBD、Matterport3D)において、チャンファー距離を20～42%削減した。 我々の知る限り、SAGEはインターネットビデオによる幾何学基礎モデルの適応を開拓し、汎用3D学習のためのスケーラブルなパラダイムを確立した。

関連論文リスト

• GPA-VGGT:Adapting VGGT to Large Scale Localization by Self-Supervised Learning with Geometry and Physics Aware Loss [15.633839321933385]
  近年のVisual Geometry Grounded Transformer (VGGT) モデルの進歩は、カメラのポーズ推定と3次元再構成において大きな可能性を秘めている。 これらのモデルは通常、トレーニングのために真実のラベルを頼りにしており、ラベルのない、目に見えないシーンに適応する際の課題を提起している。 本稿では,VGGTをラベルのないデータで訓練する自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-23T16:46:59Z)
• Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
  DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。 そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。 パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
  論文  参考訳（メタデータ） (2025-12-23T17:56:36Z)
• IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
  人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。 本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
  論文  参考訳（メタデータ） (2025-10-26T14:57:44Z)
• Epipolar Geometry Improves Video Generation Models [73.44978239787501]
  3D一貫性のあるビデオ生成は、生成および再構成タスクにおける多くの下流アプリケーションに大きな影響を与える可能性がある。 エピポーラ幾何学的制約が現代のビデオ拡散モデルをどのように改善するかを考察する。 データ駆動型ディープラーニングを古典的幾何学的コンピュータビジョンでブリッジすることで、空間的に一貫したビデオを生成する実用的な方法を提案する。
  論文  参考訳（メタデータ） (2025-10-24T16:21:37Z)
• Geometry Forcing: Marrying Video Diffusion and 3D Representation for Consistent World Modeling [29.723534231743038]
  本稿では,映像拡散モデルと物理世界の3次元的性質のギャップを埋めるために,幾何学的強制法を提案する。 我々の重要な洞察は、事前訓練された幾何学基礎モデルの特徴と整列することで、モデル中間表現を幾何学的構造へ導くことである。 我々は、カメラビューコンディショニングとアクションコンディショニングの両方のビデオ生成タスクにおいて、Geometry Forcingを評価する。
  論文  参考訳（メタデータ） (2025-07-10T17:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。