論文の概要: FF3R: Feedforward Feature 3D Reconstruction from Unconstrained views

• arxiv url: http://arxiv.org/abs/2604.09862v1
• Date: Fri, 10 Apr 2026 19:45:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.717427
• Title: FF3R: Feedforward Feature 3D Reconstruction from Unconstrained views
• Title（参考訳）: FF3R: 制約のない視点からのフィードフォワード特徴の3D再構成
• Authors: Chaoyi Zhou, Run Wang, Feng Luo, Mert D. Pesé, Zhiwen Fan, Yiqi Zhong, Siyu Huang,
• Abstract要約: 本稿では,制約のないマルチビュー画像シーケンスから幾何学的および意味論的推論を統一する,完全なアノテーションのないフィードフォワードフレームワークであるFF3Rを紹介する。 従来の方法とは異なり、FF3Rはカメラのポーズや深度マップ、セマンティックラベルを必要としない。 i) 意味的文脈で意味的文脈で幾何学的トークンを豊かにするToken-wise Fusion Moduleと(ii) 局所コヒーレンスのための意味的認識ボクセル化とグローバル一貫性のための幾何学的特徴ワープを組み合わせたセマンティック・ジオメトリ相互ブースティング機構である。
• 参考スコア（独自算出の注目度）: 34.14517479047999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in vision foundation models have revolutionized geometry reconstruction and semantic understanding. Yet, most of the existing approaches treat these capabilities in isolation, leading to redundant pipelines and compounded errors. This paper introduces FF3R, a fully annotation-free feed-forward framework that unifies geometric and semantic reasoning from unconstrained multi-view image sequences. Unlike previous methods, FF3R does not require camera poses, depth maps, or semantic labels, relying solely on rendering supervision for RGB and feature maps, establishing a scalable paradigm for unified 3D reasoning. In addition, we address two critical challenges in feedforward feature reconstruction pipelines, namely global semantic inconsistency and local structural inconsistency, through two key innovations: (i) a Token-wise Fusion Module that enriches geometry tokens with semantic context via cross-attention, and (ii) a Semantic-Geometry Mutual Boosting mechanism combining geometry-guided feature warping for global consistency with semantic-aware voxelization for local coherence. Extensive experiments on ScanNet and DL3DV-10K demonstrate FF3R's superior performance in novel-view synthesis, open-vocabulary semantic segmentation, and depth estimation, with strong generalization to in-the-wild scenarios, paving the way for embodied intelligence systems that demand both spatial and semantic understanding.
• Abstract（参考訳）: 視覚基盤モデルの最近の進歩は、幾何学的再構築と意味理解に革命をもたらした。 しかし、既存のアプローチのほとんどはこれらの機能を分離して扱い、冗長なパイプラインと複雑なエラーにつながる。 本稿では,制約のないマルチビュー画像シーケンスから幾何学的および意味論的推論を統一する,完全なアノテーションのないフィードフォワードフレームワークであるFF3Rを紹介する。 従来の方法とは異なり、FF3Rはカメラのポーズや深度マップ、セマンティックラベルを必要とせず、RGBや特徴マップのレンダリング監督にのみ依存しており、統一された3D推論のためのスケーラブルなパラダイムを確立している。 さらに、フィードフォワード機能再構築パイプラインにおける2つの重要な課題、すなわちグローバルな意味的不整合と局所的な構造的不整合に対処する。 一 相互注意により意味的文脈で幾何学的トークンを豊かにする整合モジュール、及び (II) 局所コヒーレンスのためのセマンティック・ジオメトリ・ミューチュアル・ブースティング機構とグローバルな一貫性のための幾何誘導特徴ワープとセマンティック・アウェア・ボクセル化を組み合わせた局所コヒーレンスのためのセマンティック・ジオメトリ・ミューチュアル・ブースティング機構。 ScanNetとDL3DV-10Kの大規模な実験は、FF3Rの新規ビュー合成、オープンボキャブラリセマンティックセマンティックセグメンテーション、深さ推定における優れた性能を示す。

関連論文リスト

• Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images [81.94999489820974]
  UniSplat (UniSplat) は、未提示のマルチビュー画像から3D表現を学習するためのフィードフォワードフレームワークである。 エンコーダにおける幾何誘導を強化するデュアルマスキング戦略を導入する。 第2に,外見のセマンティックな矛盾を解消する粗大なガウス的スプレイティング戦略を開発する。 第3に、予測された3次元点と意味マップを画像平面に相互に関連付ける、ポーズ条件の補正機構を導入する。
  論文  参考訳（メタデータ） (2026-04-12T10:36:18Z)
• Enhancing MLLM Spatial Understanding via Active 3D Scene Exploration for Multi-Perspective Reasoning [10.542346290671114]
  明示的な3次元再構成を基礎としたビジュアル・チェーン・オブ・ソート・メカニズムを導入したテクスティングフリーなフレームワークを提案する。 このフレームワークは、3DSRBenchやRel3Dといった主要なベンチマークにおいて、特別な空間モデルや汎用MLLMよりも優れている。
  論文  参考訳（メタデータ） (2026-04-08T06:47:55Z)
• Reliev3R: Relieving Feed-forward Reconstruction from Multi-View Geometric Annotations [98.66466590444553]
  コスト制約のない多視点幾何アノテーションを使わずにFFRMをスクラッチからトレーニングするための弱教師付きパラダイムであるReliev3Rを提案する。 Reliev3Rのコアでは、多視点幾何整合性の監視を容易にするために、曖昧さを意識した相対深度損失と三角法に基づく再射損失を設計する。
  論文  参考訳（メタデータ） (2026-04-01T06:46:54Z)
• SemGS: Feed-Forward Semantic 3D Gaussian Splatting from Sparse Views for Generalizable Scene Understanding [18.889530477440793]
  SemGSは画像入力から一般化可能なセマンティックフィールドを再構築するためのフィードフォワードフレームワークである。 カメラ視点間の幾何学的関係を明示的にモデル化するために,特徴抽出器にカメラ対応アテンション機構を導入する。 実験により、SemGSはベンチマークデータセット上で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2026-03-03T03:06:37Z)
• IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
  人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。 本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
  論文  参考訳（メタデータ） (2025-10-26T14:57:44Z)
• Cross-Modal Geometric Hierarchy Fusion: An Implicit-Submap Driven Framework for Resilient 3D Place Recognition [9.411542547451193]
  本稿では,密度に依存しない幾何学的推論により3次元位置認識を再定義するフレームワークを提案する。 具体的には、元のシーンポイント雲密度の干渉に免疫する弾性点に基づく暗黙の3次元表現を導入する。 これら2種類の情報を活用することで,鳥眼視と3Dセグメントの両視点から幾何学的情報を融合する記述子を得る。
  論文  参考訳（メタデータ） (2025-06-17T07:04:07Z)
• GOV-NeSF: Generalizable Open-Vocabulary Neural Semantic Fields [50.68719394443926]
  Generalizable Open-Vocabulary Neural Semantic Fields (GOV-NeSF)は、オープン語彙意味論による3Dシーンの一般化可能な暗黙的表現を提供する新しいアプローチである。 GOV-NeSFは2次元および3次元のオープン語彙セマンティックセマンティックセグメンテーションにおいて最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-04-01T05:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。