論文の概要: Cross-Attentive Multiview Fusion of Vision-Language Embeddings

• arxiv url: http://arxiv.org/abs/2604.12551v1
• Date: Tue, 14 Apr 2026 10:25:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.395082
• Title: Cross-Attentive Multiview Fusion of Vision-Language Embeddings
• Title（参考訳）: ビジョン・ランゲージ・エンベディングの多面的多視点融合
• Abstract要約: 複数の視点から視覚言語記述子を横断的に横断する新しいマルチビュートランスフォーマーアーキテクチャを提案する。 この融合のための自己超越信号としてマルチビュー整合性を利用する。 クロス・アテンティブ・マルチビュー・フュージョンは、ナイーブ平均化やシングルビュー記述子選択よりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 28.984855441235776
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision-language models have been key to the development of open-vocabulary 2D semantic segmentation. Lifting these models from 2D images to 3D scenes, however, remains a challenging problem. Existing approaches typically back-project and average 2D descriptors across views, or heuristically select a single representative one, often resulting in suboptimal 3D representations. In this work, we introduce a novel multiview transformer architecture that cross-attends across vision-language descriptors from multiple viewpoints and fuses them into a unified per-3D-instance embedding. As a second contribution, we leverage multiview consistency as a self-supervision signal for this fusion, which significantly improves performance when added to a standard supervised target-class loss. Our Cross-Attentive Multiview Fusion, which we denote with its acronym CAMFusion, not only consistently outperforms naive averaging or single-view descriptor selection, but also achieves state-of-the-art results on 3D semantic and instance classification benchmarks, including zero-shot evaluations on out-of-domain datasets.
• Abstract（参考訳）: 視覚言語モデルはオープン語彙2Dセマンティックセグメンテーションの発展の鍵となった。 しかし、これらのモデルを2D画像から3Dシーンにリフティングすることは、依然として難しい問題だ。 既存のアプローチは通常、ビューをまたいだバックプロジェクトと平均的な2D記述子、あるいはヒューリスティックに1つの代表子を選択し、しばしば最適以下の3D表現をもたらす。 本研究では,視覚言語記述子を複数視点から横断的に横断する新しいマルチビュートランスフォーマーアーキテクチャを導入し,それらを3次元インスタンス・埋め込みに融合させる。 第2のコントリビューションとして、この融合のための自己超越信号としてマルチビュー整合性を利用する。 CAMFusionという頭字語で表現するクロス・アテンティブ・マルチビュー・フュージョンは、ナイーブ平均化や単一ビュー記述子選択を一貫して上回るだけでなく、3Dセマンティックおよびインスタンス分類ベンチマークの最先端結果も達成します。

関連論文リスト

• Inclusive Interactive Collisions for Multi-View Consistent Compositional 3D Generation [25.750694245523217]
  我々は,多視点一貫した合成3Dアセットを合理的な相互作用で生成する新しい最適化手法であるI2C-3Dを提案する。 具体的には、合理的な相互作用領域に自然に現れるガウス的プリミティブを導くための包括的対話的衝突戦略を提案する。 マルチビュー整合性を高めるため,マルチビュー適応スコア蒸留サンプリング法を考案し,事前学習拡散モデルを用いて,複数ビュー整合性前とレイアウト前を抽出する。
  論文  参考訳（メタデータ） (2026-06-23T06:48:22Z)
• DisPOSE: Projected Polystochastic Diffusion for Self-Supervised Multi-View 3D Human Pose Estimation [58.47973015036709]
  DisPOSEは、本質的に離散的な多視点人物割り当て問題を近似する自己教師型フレームワークである。 特定可能なシンクホーン射影を用いることにより、本モデルは有効かつ実現可能な課題への解の導出を学ぶ。 提案手法は、標準データセット上での最先端の自己教師手法よりも優れている。
  論文  参考訳（メタデータ） (2026-06-05T16:14:39Z)
• Zero-Shot 3D Question Answering via Hierarchical View-to-Token Transportation [9.296275675671636]
  本稿では,ビューレベルとトークンレベルの両方において,入力コンテキスト収集のための階層的アプローチを提案する。 具体的には、画素特徴とカメラパラメータを組み合わせることで、意味的内容と幾何学的位置の両方に基づいて、ビューの重要性を評価する。 フレームワークを3つの広く使用されているベンチマークで評価し、既存のチューニング不要の手法とトレーニングベースのアプローチに匹敵するパフォーマンスを大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2026-06-02T03:38:51Z)
• Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding [34.1504914582344]
  3D Visual Groundingは、自然言語記述を通じてオブジェクトを3Dシーンにローカライズすることを目的としている。 生のRGB-Dストリーム上で直接動作する2次元から3次元の再生パラダイムである"Think, Act, Build (TAB)"を提案する。 厳密なVLMセマンティックトラッキングによる多視点カバレッジ障害を克服するために,セマンティックアンコレッド幾何拡張を導入する。
  論文  参考訳（メタデータ） (2026-04-01T06:12:16Z)
• Hierarchical Collaborative Fusion for 3D Instance-aware Referring Expression Segmentation [91.2768117730855]
  一般化された3D参照式(3D-GRES)は、記述が複数またはゼロのターゲットと一致する場合でも、自然言語に基づいて3Dシーン内のオブジェクトをローカライズする。 既存の方法はスパース・ポイント・クラウドにのみ依存しており、きめ細かい説明のためのリッチ・ビジュアル・セマンティクスが欠如している。 HCF-RESは2つの重要なイノベーションを持つマルチモーダルフレームワークである。
  論文  参考訳（メタデータ） (2026-03-06T13:09:29Z)
• OpenInsGaussian: Open-vocabulary Instance Gaussian Segmentation with Context-aware Cross-view Fusion [89.98812408058336]
  textbfOpenInsGaussian, textbfOpen-vocabulary textbfInstance textbfGaussian segmentation framework with Context-aware Cross-view Fusion。 OpenInsGaussianは、オープン語彙の3Dガウスのセグメンテーションにおける最先端の結果を達成し、既存のベースラインを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2025-10-21T03:24:12Z)
• Complementary Information Guided Occupancy Prediction via Multi-Level Representation Fusion [73.11061598576798]
  カメラによる占有予測は、自動運転における3D知覚の主流のアプローチである。 textbfCIGOccはマルチレベル表現融合に基づく2段階の占有予測フレームワークである。 textbfCIGOccは、入力画像からセグメンテーション、グラフィックス、深さの特徴を抽出し、変形可能なマルチレベル融合機構を導入する。
  論文  参考訳（メタデータ） (2025-10-15T06:37:33Z)
• PGOV3D: Open-Vocabulary 3D Semantic Segmentation with Partial-to-Global Curriculum [20.206273757144547]
  PGOV3Dはオープンな3Dセマンティックセマンティックセグメンテーションを改善するための部分言語カリキュラムを導入した新しいフレームワークである。 我々は、密接な意味情報を提供する部分的なシーンでモデルを事前訓練するが、比較的単純な幾何学である。 第2段階では、よりスペーサーで構造的に複雑である、完全なシーンレベルの点雲上でモデルを微調整する。
  論文  参考訳（メタデータ） (2025-06-30T08:13:07Z)
• DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
  本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。 我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。 トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
  論文  参考訳（メタデータ） (2023-11-18T21:58:28Z)
• Beyond First Impressions: Integrating Joint Multi-modal Cues for Comprehensive 3D Representation [72.94143731623117]
  既存の方法は、単に3D表現を単一ビューの2D画像と粗い親カテゴリテキストに整列させる。 十分でないシナジーは、堅牢な3次元表現は共同視覚言語空間と一致すべきという考えを無視している。 我々は,JM3Dと呼ばれる多視点共同モダリティモデリング手法を提案し,点雲,テキスト,画像の統一表現を求める。
  論文  参考訳（メタデータ） (2023-08-06T01:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。