論文の概要: From Alignment to Fusion in 3D Vision-Language

• arxiv url: http://arxiv.org/abs/2609.28222v1
• Date: Wed, 23 Sep 2026 14:52:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.07784
• Title: From Alignment to Fusion in 3D Vision-Language
• Title（参考訳）: 3次元視覚言語におけるアライメントから融合へ
• Abstract要約: 統一された3次元視覚言語システムは、相補的な幾何学、スケール、外観を組み合わせなければならない。 既存の方法は、独立してポイントクラウド、ボクセルグリッド、マルチビューイメージを処理していることが多い。 本稿では,三重対コサインアライメントを適用し,セグメントレベルの対応性を確立するアライメント・テーマ・フューズ・フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 30.65499823418563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified 3D vision-language systems must combine complementary geometry, scale, and appearance cues while supporting tasks from instance segmentation to language-guided reasoning. Existing methods often process point clouds, voxel grids, and multi-view images independently; directly combining these heterogeneous representations may leave substantial feature discrepancy unresolved, while subsequent unconstrained adaptation may distort their internal geometry. We propose an align-then-fuse framework that first applies triple pairwise cosine alignment to establish segment-level correspondence across the three representations and then retrieves task-conditioned features with a prompt-guided query decoder. Before fusion, representation-specific query features are transformed by learnable mappings constrained to the special orthogonal group. These mappings preserve inner products and Euclidean distances within each representation, permitting controlled representation-specific re-parameterisation without arbitrarily distorting its internal geometry. The transformed features are subsequently combined through Adaptive Fusion under downstream task supervision. Experiments cover eight datasets for instance segmentation, visual grounding, question answering, and dense captioning. Compared with PQ3D, the model improves average precision by 3.2 points on ScanNet200 and grounding accuracy by 2.9, 10.6, 4.6, and 4.1 points on ScanRefer, Nr3D, Sr3D, and Multi3DRefer, respectively, while also improving performance on ScanQA, SQA3D, and Scan2Cap. Ablations further support the complementary roles of alignment and orthogonal re-parameterisation and the effectiveness of Adaptive Fusion.
• Abstract（参考訳）: 統一された3次元視覚言語システムは、インスタンスセグメンテーションから言語誘導推論までタスクをサポートしながら、相補的な幾何学、スケール、外観の手がかりを組み合わせる必要がある。 既存の方法は、しばしば点雲、ボクセルグリッド、マルチビューイメージを独立に処理し、これらの不均一な表現を直接組み合わせることで、実質的な特徴の相違は解決されず、その後の制約のない適応は内部の幾何学を歪ませる。 本稿では,まず三重対コサインアライメントを適用し,各3つの表現のセグメンテーションレベルの対応性を確立するとともに,プロンプト誘導型クエリデコーダを用いてタスク条件付き特徴を検索するアライメント・テーマ・フューズ・フレームワークを提案する。 融合前、表現固有のクエリ機能は、特別な直交群に制約された学習可能なマッピングによって変換される。 これらの写像は、各表現内の内積とユークリッド距離を保存し、内部幾何学を任意に歪めることなく、表現固有の再パラメータ化を制御する。 変換された機能はその後、下流のタスク監視の下でAdaptive Fusionを通じて統合される。 実験では、たとえばセグメンテーション、視覚的グラウンドニング、質問応答、高密度キャプションといった8つのデータセットをカバーする。 PQ3Dと比較して、ScanNet200では平均精度が3.2ポイント向上し、ScanRefer、Nr3D、Sr3D、Multi3DReferでは2.9、10.6、4.6、および4.1ポイント向上し、ScanQA、SQA3D、Scan2Capでは性能も向上した。 アブレーションはアライメントと直交再パラメータ化の相補的役割とアダプティブフュージョンの有効性をさらに支持する。

関連論文リスト

• ProjFormer: Point Cloud Completion via Geometric-Projective Transformer and Cross-Modal Semantic Constraints [50.4059685962603]
  ProjFormerは、明示的なプロジェクションと適応的な特徴ルーティングを通じて、幾何学的に一貫性のある2D-3Dインタラクションを強制するクロスモーダルフレームワークである。 実験によると、軽量な設計の下で、ProjFormerは、構造的完全性を改善した競争力のあるパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2026-08-15T08:05:48Z)
• SCOPE: Scale-Consistent One-Pass Estimation of 3D Geometry [69.89196162649091]
  SCOPE (Scale-Consistent One-Pass Estimation of 3D Geometry) は、拡張された単眼ビデオシーケンスから3次元幾何学を推定するための新しいアプローチである。 提案手法では,アフィン不変な3次元点マップを全列に共通パラメータで生成し,一貫したスケール不変表現を実現する。
  論文  参考訳（メタデータ） (2026-06-19T10:23:25Z)
• Align3D-AD: Cross-Modal Feature Alignment and Dual-Prompt Learning for Zero-shot 3D Anomaly Detection [2.08058961865456]
  ゼロショット3D異常検出は、ターゲットカテゴリからのトレーニングデータにアクセスすることなく、異常を識別することを目的としている。 既存の手法は主に幾何学的手がかりを主に捉える多視点表現に3D観測を投影することに依存している。 本稿では,補助カテゴリからのRGBモダリティをクロスモーダルガイダンスとして活用する2段階統合フレームワークAlign3D-ADを提案する。
  論文  参考訳（メタデータ） (2026-05-07T08:24:44Z)
• FAST3DIS: Feed-forward Anchored Scene Transformer for 3D Instance Segmentation [15.271467111162714]
  FAST3DISは、ホット後のクラスタリングを効果的にバイパスするエンドツーエンドのアプローチである。 本稿では,基礎的な奥行きバックボーン上に構築された3Dアンコール型クエリベースのTransformerアーキテクチャを提案する。 複雑な屋内3次元データセットを用いた実験により,本手法が競合セグメンテーション精度を実現することを示す。
  論文  参考訳（メタデータ） (2026-03-27T00:45:31Z)
• Hierarchical Context Alignment with Disentangled Geometric and Temporal Modeling for Semantic Occupancy Prediction [61.484280369655536]
  カメラを用いた3Dセマンティック占領予測(SOP)は、限られた2次元画像観察から複雑な3Dシーンを理解するのに不可欠である。 既存のSOPメソッドは通常、占有表現学習を支援するためにコンテキストの特徴を集約する。 より正確なSOP(Hi-SOP)のための新しい階層型コンテキストアライメントパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-12-11T09:53:10Z)
• Similarity-Aware Fusion Network for 3D Semantic Segmentation [87.51314162700315]
  本研究では,3次元セマンティックセグメンテーションのための2次元画像と3次元点雲を適応的に融合する類似性認識融合ネットワーク(SAFNet)を提案する。 我々は、入力とバックプロジェクションされた(2Dピクセルから)点雲の間の幾何学的および文脈的類似性を初めて学習する、後期融合戦略を採用している。 SAFNetは、様々なデータ完全性にまたがって、既存の最先端の核融合ベースのアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2021-07-04T09:28:18Z)
• Object-Centric Multi-View Aggregation [86.94544275235454]
  本稿では,オブジェクトのスパースなビュー集合を集約して,半単純3次元表現を容積特徴格子の形で計算する手法を提案する。 我々のアプローチの鍵となるのは、カメラのポーズを明示することなく、ビューを持ち上げることができるオブジェクト中心の標準3D座標システムである。 画素から標準座標系への対称対応マッピングの計算により、未知の領域への情報伝達がより良くなることを示す。
  論文  参考訳（メタデータ） (2020-07-20T17:38:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。