論文の概要: PAGER: Partial-to-global Alignment via Geometric and Relational Distillation
- arxiv url: http://arxiv.org/abs/2610.01589v1
- Date: Thu, 01 Oct 2026 12:42:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.117798
- Title: PAGER: Partial-to-global Alignment via Geometric and Relational Distillation
- Title(参考訳): PAGER: 幾何学的および関係的蒸留による部分-言語アライメント
- Abstract要約: グローバルに学習された3次元特徴空間から現実的な部分的な観察へのシフトは、厳しい表現ミスマッチを露呈する。
グローバルリニアプローブを備えた冷凍ソナタエンコーダは、全ScanNetシーンで72.47 mIoUを達成するが、シングルフレームカメラ座標入力では2.57 mIoUを達成する。
我々は,部分ビュー特徴を凍結したグローバルな3Dセマンティック空間と整合させるラベルフリー適応手法であるPAGERを紹介する。
- 参考スコア(独自算出の注目度): 3.820216227085045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained 3D encoders are typically developed on globally reconstructed scenes expressed in a consistent world coordinate frame, whereas embodied systems must reason from partial, viewpoint-dependent observations in camera coordinates. We show that this shift from globally learned 3D feature spaces to realistic partial observations exposes a severe representation mismatch, which we find consistently across representative state-of-the-art encoders, including Sonata and Concerto. A frozen Sonata encoder with a global linear probe achieves 72.47 mIoU on full ScanNet scenes, but 2.57 mIoU on single-frame camera-coordinate inputs. Training-free gravity alignment recovers performance to 41.64 mIoU, showing that coordinate-frame mismatch is a dominant source of degradation but cannot be fully resolved through canonicalization alone. We introduce PAGER, a label-free adaptation method that aligns partial-view features with a frozen global 3D semantic space using only paired partial/global geometry. It learns lightweight adaptation modules while keeping the pretrained encoder and global segmentation probe frozen. Matched-point feature alignment anchors partial features to their global counterparts, while relational supervision preserves their similarity structure with respect to the global representation. Global geometry provides supervision only during training. Inference operates directly on the partial observation. Without partial-view labels, PAGER outperforms label-supervised PEFT on both Sonata and Concerto, and in zero-shot ScanNet$\rightarrow$ScanNet++ transfer surpasses fully fine-tuned Sonata ($53.93$ vs.\ $48.09$ mIoU), suggesting that preserving the frozen global representation can improve cross-dataset transfer.
- Abstract(参考訳): 事前訓練された3Dエンコーダは通常、一貫した世界座標フレームで表現された世界再構成シーンで開発される。
グローバルに学習された3次元特徴空間から現実的な部分的な観察へのこのシフトは、厳密な表現ミスマッチを露呈し、ソナタや協奏曲など、最先端のエンコーダに一貫して現れることを示す。
グローバルリニアプローブを備えた冷凍ソナタエンコーダは、全ScanNetシーンで72.47 mIoUを達成するが、シングルフレームカメラ座標入力では2.57 mIoUを達成する。
トレーニング不要な重力アライメントは41.64 mIoUに回復し、座標フレームミスマッチが主な劣化源であるが、正準化だけでは完全には解決できないことを示す。
PAGERは,部分ビュー特徴と凍結したグローバルな3次元セマンティック空間をペア付き部分/言語幾何学のみを用いて整列するラベルなし適応手法である。
トレーニング済みのエンコーダとグローバルセグメンテーションプローブを凍結させながら、軽量な適応モジュールを学習する。
マッチングポイント特徴アライメントは、そのグローバルな特徴に部分的特徴をアンカーし、リレーショナル監視は、グローバルな表現に関してそれらの類似性構造を保存する。
グローバルジオメトリは、トレーニング中にのみ監視を提供する。
推論は部分的な観察で直接動作する。
部分ビューラベルがなければ、PAGER は Sonata と Concerto の両方でラベル管理されたPEFT を上回り、ゼロショットの ScanNet$\rightarrow$ScanNet++ 転送は Sonata (53.93$ vs.
480.09$ mIoU) は、凍結したグローバル表現を保存することで、データセット間の転送を改善することを示唆している。
関連論文リスト
- Surflo: Consistent 3D Surface Flow Model with Global State [57.57234680235885]
Surfloは、方向付けられた3次元表面点を、ノイズからフローマッチングを通じて独立して表面へ輸送することでデコードする。
独立なポイント単位の復号化に固有の局所的不整合を抑制するために、光度勾配を注入することにより、推定時間誘導項が近傍の点と相関する。
Surfloは、サーフェスメトリクスのフィードフォワードベースラインにマッチし、数百のビューを必要とする最適化ベースのメソッドよりも桁違いに高速に動作し、グローバルなラテントと任意の解像度のデコーディングを組み合わせた唯一のフィードフォワードアプローチである。
論文 参考訳(メタデータ) (2026-06-11T17:48:38Z) - Beyond Spatial Compression: Interface-Centric Generative States for Open-World 3D Structure [55.17771962316751]
現在の3Dトークンは、表現を空間圧縮として扱うが、コンポーネントの所有権とアタッチメントの妥当性は暗黙的に残す。
我々は、トークン化がパッシブ圧縮コードではなく操作状態を構成する、インターフェイス中心の生成状態という別の視点を定式化する。
我々は、この定式化を、C2LT-3D(Component-Conditioned Canonical Local Tokens)でインスタンス化し、表現を標準局所幾何学、パーティション条件付きコンテキスト、およびリレーショナルシーム変数に分解する。
論文 参考訳(メタデータ) (2026-05-11T12:09:28Z) - Scene Grounding In the Wild [27.597534811067348]
大規模な現実世界のシーンの正確な3Dモデルを、非構造的で、その中の画像から再構築することは、コンピュータビジョンにおける重要な課題である。
シーンの完全な参照モデルに各部分再構成を基礎とするフレームワークを提案する。
従来のパイプラインや学習ベースのパイプラインでは,我々のアプローチが一貫してグローバルアライメントを改善することを示す。
論文 参考訳(メタデータ) (2026-03-27T16:41:20Z) - Robust Scene Coordinate Regression via Geometrically-Consistent Global Descriptors [52.57327385675752]
幾何学的構造と視覚的類似性の両方に整合したグローバルな記述子を学習するアグリゲータモジュールを提案する。
これにより、信頼できないオーバーラップスコアによる誤関連が修正される。
挑戦的なベンチマークの実験では、大規模環境ではかなりのローカライゼーションが得られた。
論文 参考訳(メタデータ) (2025-12-19T04:24:03Z) - UAGLNet: Uncertainty-Aggregated Global-Local Fusion Network with Cooperative CNN-Transformer for Building Extraction [83.48950950780554]
リモートセンシング画像からの抽出は、複雑な構造変化のために難しい課題である。
既存の方法は、セグメンテーションモデルにおけるマルチスケール特徴をキャプチャするために、畳み込みブロックまたは自己アテンションブロックを使用する。
高品質なグローバルローカルなビジュアルセマンティクスを活用するために,不確実性集約型グローバルローカルフュージョンネットワーク(UAGLNet)を提案する。
論文 参考訳(メタデータ) (2025-12-15T02:59:16Z) - FUSER: Feed-Forward MUltiview 3D Registration Transformer and SE(3)$^N$ Diffusion Refinement [39.19949818461193]
Fは、全てのスキャンを統一されたコンパクトな潜在空間で処理する最初のフィードフォワードマルチビュー登録変換器である。
F はペアワイズ推定なしでグローバルなポーズを予測する。
3DMatch, ScanNet, ArkitScenesの実験により, 本手法が優れた登録精度と優れた計算効率を実現することを示す。
論文 参考訳(メタデータ) (2025-12-10T07:11:22Z) - Towards 3D Object-Centric Feature Learning for Semantic Scene Completion [18.41627244498394]
視覚に基づく3Dセマンティックシーンコンプリート(SSC)は、自動運転の可能性から注目を集めている。
シーンを個々のオブジェクトインスタンスに分解するオブジェクト中心の予測フレームワークであるOceanを提案する。
その結果,Oceanは17.40点,mIoUスコアは20.28点であった。
論文 参考訳(メタデータ) (2025-11-17T06:28:26Z) - Part-aware Unified Representation of Language and Skeleton for Zero-shot Action Recognition [57.97930719585095]
本稿では,PURLS(Part-aware Unified Representation between Language and Skeleton)を紹介する。
本手法はスケルトン/言語のバックボーンと3つの大規模データセットを用いて評価する。
その結果、PURLSの普遍性と優れた性能を示し、以前のスケルトンベースのソリューションと他のドメインからの標準ベースラインを上回った。
論文 参考訳(メタデータ) (2024-06-19T08:22:32Z) - Conformer: Local Features Coupling Global Representations for Visual
Recognition [72.9550481476101]
本稿では,畳み込み操作と自己アテンション機構を利用した表現学習のためのハイブリッドネットワーク構造,conformerを提案する。
実験では、コンフォーマーが同等のパラメータ複雑性の下で視覚変換器(DeiT-B)を2.3%上回ることが示されている。
論文 参考訳(メタデータ) (2021-05-09T10:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。