論文の概要: CrossWeave: Cross-Modal Scene and Instance Retrieval from Sparse 2D-3D Alignment

• arxiv url: http://arxiv.org/abs/2610.40525v1
• Date: Thu, 29 Oct 2026 17:32:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:48:05.42978
• Title: CrossWeave: Cross-Modal Scene and Instance Retrieval from Sparse 2D-3D Alignment
• Title（参考訳）: CrossWeave: スパース2D-3Dアライメントからのクロスモーダルシーンとインスタンス検索
• Abstract要約: クロスモーダルシーンとインスタンス検索は、対応する3D環境や、与えられたクエリ2D画像のオブジェクトを検索することを目的としている。 シーンレベルのコントラストを伴わないスパース2D-3D通信の監視は,シーンレベルの検索とインスタンスレベルの検索の両方で単一モデルを訓練するのに十分であることを示す。
• 参考スコア（独自算出の注目度）: 22.33181902984481
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-modal scene and instance retrieval aims to retrieve a corresponding 3D environment or object given query 2D images, serving as a foundational mechanism for spatial reasoning in robotics and AR/VR. Existing methods achieve this by learning alignment only at the level of whole scenes or objects, which provides no supervision for the fine-grained local structure within them. In this work, we show that supervision on a set of sparse 2D-3D correspondences, without scene- or instance-level contrastive objectives, is sufficient to train a single model for both scene- and instance-level retrieval. Specifically, we propose $\textbf{CrossWeave}$, a novel framework for cross-modal retrieval that learns sparse patch-point alignment, which alone outperforms existing methods. An optimal transport-based aggregator over the aligned features gives further gains by clustering structurally redundant regions, freeing descriptor capacity for semantically distinct local features. CrossWeave achieves state-of-the-art performance on both scene- and instance-level retrieval on ScanNet and 3RScan with a $\textit{single model}$, whereas existing methods require separate models for each task. Our results suggest that whole-scene encoding is unnecessary for cross-modal retrieval and that sparse local correspondence supervision is a more effective and flexible alternative.
• Abstract（参考訳）: クロスモーダルシーンとインスタンス検索は、ロボット工学やAR/VRにおける空間推論の基礎となるメカニズムとして機能し、対応する3D環境や、与えられたクエリー2D画像を取得することを目的としている。 既存の手法では、シーン全体やオブジェクトのレベルでのみアライメントを学習することで、その内部のきめ細かい局所構造を監督することができない。 本研究では,シーンレベルのコントラストを伴わない,スパース2D-3D対応の監視が,シーンレベルの検索とインスタンスレベルの検索の両方において,単一のモデルを訓練するのに十分であることを示す。 具体的には、sparse patch-pointアライメントを学習するクロスモーダル検索のための新しいフレームワークである$\textbf{CrossWeave}$を提案する。 整列した特徴に対する最適なトランスポートベースのアグリゲータは、構造的に冗長な領域をクラスタリングし、意味的に異なる局所的特徴のための記述子容量を解放することで、さらなる利益をもたらす。 CrossWeaveは、$\textit{single model}$でScanNetと3RScanのシーンレベルの検索とインスタンスレベルの検索の両方で最先端のパフォーマンスを実現している。 以上の結果から,クロスモーダル検索には全シーン符号化が不要であり,局所通信監督がより効果的で柔軟な代替手段であることが示唆された。

関連論文リスト

• UniAfford: Token-Routed Multitask Learning for Generalizable 2D-3D Affordance Perception [39.790998640025]
  アクダクタンス知覚は、具体的相互作用をサポートする作用可能な領域を局在させることを目的としている。 タスク固有のブランチにコンテキスト的に隠された状態をルーティングするToken Router for Tasksを提案する。 このパラダイムを、一般化可能な2D-3D測度知覚のための統一的なフレームワークであるUniAffordとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-09-29T11:11:56Z)
• PC-CrossDiff: Point-Cluster Dual-Level Cross-Modal Differential Attention for Unified 3D Referring and Segmentation [40.5034963034718]
  3Dビジュアルグラウンディングは2つのコアタスクを通して自然言語参照表現をローカライズすることを目的としている: Referring Expression (3DREC)とReferring Expression (3DRES) 既存の手法は、暗黙の局所化キューの不十分な解析と、共起物体からの動的空間干渉の非効率な抑制という、複雑な多目的シーンにおいて2つの重要な課題に直面している。 PC-CrossDiffは3DRECと3DRESのための2レベルクロスモーダルアテンションアーキテクチャを備えた統合デュアルタスクフレームワークである。
  論文  参考訳（メタデータ） (2026-03-18T14:16:48Z)
• GeoSAM2: Unleashing the Power of SAM2 for 3D Part Segmentation [81.0871900167463]
  GeoSAM2は3次元部分分割のためのプロンプト制御可能なフレームワークである。 テクスチャのないオブジェクトが与えられた場合、事前に定義された視点から正規写像とポイントマップを描画する。 部品の選択をガイドするシンプルな2Dプロンプト(クリックやボックス)を受け入れます。 予測されたマスクはオブジェクトにバックプロジェクションされ、ビューに集約される。
  論文  参考訳（メタデータ） (2025-08-19T17:58:51Z)
• A-SCoRe: Attention-based Scene Coordinate Regression for wide-ranging scenarios [1.2093553114715083]
  A-ScoReは、意味のある高セマンティックな2Dディスクリプタを生成するために、ディスクリプタマップレベルの注意を利用するアテンションベースのモデルである。 その結果,本手法はより軽量でフレキシブルでありながら,複数のベンチマークでState-of-the-artメソッドに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-03-18T07:39:50Z)
• CrossOver: 3D Scene Cross-Modal Alignment [78.3057713547313]
  CrossOverは、クロスモーダルな3Dシーン理解のための新しいフレームワークである。 モダリティを整列させることにより、シーンの統一的でモダリティに依存しない埋め込み空間を学ぶ。 堅牢なシーン検索とオブジェクトのローカライゼーションをサポートする。
  論文  参考訳（メタデータ） (2025-02-20T20:05:30Z)
• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast Contrastive Fusion [110.84357383258818]
  本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。 このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。 我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
  論文  参考訳（メタデータ） (2023-06-07T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。