論文の概要: DINO Eats CLIP: Adapting Beyond Knowns for Open-set 3D Object Retrieval

• arxiv url: http://arxiv.org/abs/2604.19432v1
• Date: Tue, 21 Apr 2026 13:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.778013
• Title: DINO Eats CLIP: Adapting Beyond Knowns for Open-set 3D Object Retrieval
• Title（参考訳）: DINOがCLIPを発表 - オープンセットの3Dオブジェクト検索にKnowns以外にも適応
• Authors: Xinwei He, Yansong Zheng, Qianru Han, Zhichuan Wang, Yuxuan Cai, Yang Zhou, Jingbo Xia, Yulong Wang, Jinhai Xiang, Xiang Bai,
• Abstract要約: ビジョンファウンデーションモデルは、オープンセットの3Dオブジェクト検索に非常に有望である(3DOR) 以前の作業は通常、ビューベースの3D記述子を構築するためにCLIPエンコーダを適用する。 動的マルチビュー統合のための新しいフレームワークであるDINO Eats CLIP (DEC)を提案する。
• 参考スコア（独自算出の注目度）: 41.16232552434766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision foundation models have shown great promise for open-set 3D object retrieval (3DOR) through efficient adaptation to multi-view images. Leveraging semantically aligned latent space, previous work typically adapts the CLIP encoder to build view-based 3D descriptors. Despite CLIP's strong generalization ability, its lack of fine-grainedness prompted us to explore the potential of a more recent self-supervised encoder-DINO. To address this, we propose DINO Eats CLIP (DEC), a novel framework for dynamic multi-view integration that is regularized by synthesizing data for unseen classes. We first find that simply mean-pooling over view features from a frozen DINO backbone gives decent performance. Yet, further adaptation causes severe overfitting on average view patterns of known classes. To combat it, we then design a module named Chunking and Adapting Module (CAM). It segments multi-view images into chunks and dynamically integrates local view relations, yielding more robust features than the standard pooling strategy. Finally, we propose Virtual Feature Synthesis (VFS) module to mitigate bias towards known categories explicitly. Under the hood, VFS leverages CLIP's broad, pre-aligned vision-language space to synthesize virtual features for unseen classes. By exposing DEC to these virtual features, we greatly enhance its open-set discrimination capacity. Extensive experiments on standard open-set 3DOR benchmarks demonstrate its superior efficacy.
• Abstract（参考訳）: ビジョンファウンデーションモデルは、マルチビュー画像への効率的な適応を通して、オープンセットの3Dオブジェクト検索(3DOR)を大いに期待している。 セマンティックに整列した潜在空間を利用することで、以前の作業は通常、ビューベースの3D記述子を構築するためにCLIPエンコーダを適応させる。 CLIPの強力な一般化能力にもかかわらず、その微細さの欠如により、より最近の自己監督型エンコーダ-DINOの可能性を探ることができた。 そこで我々はDINO Eats CLIP(DEC)を提案する。DINO Eats CLIP(DEC)は動的マルチビュー統合のための新しいフレームワークである。 最初に分かったのは、凍結したDINOバックボーンのビュー機能に対する平均的なプーリングが、十分なパフォーマンスを実現していることです。 しかし、さらなる適応は、既知のクラスの平均的なビューパターンに深刻なオーバーフィッティングを引き起こす。 これに対抗するために、Chunking and Adapting Module (CAM)というモジュールを設計しました。 マルチビュー画像をチャンクに分割し、ローカルビューリレーションを動的に統合することで、標準的なプーリング戦略よりも堅牢な機能を提供する。 最後に、既知のカテゴリに対するバイアスを明示的に緩和する仮想特徴合成(VFS)モジュールを提案する。 内部的には、VFSはCLIPの広義の視覚言語空間を活用して、見えないクラスの仮想機能を合成する。 これらの仮想機能にDECを露出させることで、オープンセットの識別能力を大幅に向上させる。 標準のオープンセット3DORベンチマークに対する大規模な実験は、その優れた有効性を示している。

関連論文リスト

• OpenTrack3D: Towards Accurate and Generalizable Open-Vocabulary 3D Instance Segmentation [5.073373064582996]
  オープンな3Dインスタンスセグメンテーションのための汎用的で正確なフレームワークであるOpenTrack3Dを紹介する。 事前に生成された提案に依存するメソッドとは異なり、OpenTrack3Dは、クロスビュー一貫性のあるオブジェクト提案を構築するために、新しいビジュアル空間トラッカーを使用している。 パイプラインは完全にメッシュフリーですが、シーンメッシュが利用可能になった時にパフォーマンスをさらに向上する、オプションのスーパーポイントリファインメントモジュールも提供しています。
  論文  参考訳（メタデータ） (2025-12-03T07:51:03Z)
• LOC: A General Language-Guided Framework for Open-Set 3D Occupancy Prediction [9.311605679381529]
  我々は,様々な占有ネットワークに適用可能な汎用言語誘導フレームワークLOCを提案する。 自己教師型タスクには,動的/静的シーンに多フレームLiDAR点を融合する戦略,ポアソン再構成を用いて空白を埋める手法,K-Nearest Neighbor (KNN) を介してボクセルに意味を割り当てる手法を用いる。 我々のモデルは,CLIP機能空間に埋め込まれた高密度なボクセル特徴を予測し,テキストと画像の画素情報を統合し,テキストとセマンティックの類似性に基づいて分類する。
  論文  参考訳（メタデータ） (2025-10-25T03:27:19Z)
• Light-SQ: Structure-aware Shape Abstraction with Superquadrics for Generated Meshes [60.92139345612904]
  我々は、新しいスーパークワッドリックベースの最適化フレームワークLight-SQを提案する。 本稿では,構造対応ボリューム分解によるブロック再配置戦略を提案する。 実験によると、Light-SQはスーパークワッドリックで効率よく、高忠実で、編集可能な形状の抽象化を可能にする。
  論文  参考訳（メタデータ） (2025-09-29T16:18:32Z)
• Describe, Adapt and Combine: Empowering CLIP Encoders for Open-set 3D Object Retrieval [76.86914849263168]
  オープンセット3Dオブジェクト検索は、トレーニングセットを超えて、目に見えないカテゴリの3Dオブジェクトを検索することを目的とした、新たなタスクである。 既存の手法は通常、すべてのモダリティ(ボクセル、点雲、マルチビュー画像など)を使用し、融合前に特定のバックボーンを訓練する。 Describe, Adapt and Combine (DAC) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-29T04:11:05Z)
• Self-Supervised and Generalizable Tokenization for CLIP-Based 3D Understanding [87.68271178167373]
  凍結したCLIPバックボーンを用いたスケール不変表現学習のためのユニバーサル3Dトークン化器を提案する。 S4Tokenは、シーンスケールに関係なくセマンティックインフォームドトークンを生成するトークン化パイプラインである。
  論文  参考訳（メタデータ） (2025-05-24T18:26:30Z)
• NF-SLAM: Effective, Normalizing Flow-supported Neural Field representations for object-level visual SLAM in automotive applications [20.963261049295085]
  暗黙的な符号付き距離関数による3次元形状を表現する自動車アプリケーションのための視覚のみのオブジェクトレベルSLAMフレームワークを提案する。 私たちの重要なイノベーションは、正規化フローネットワークによる標準神経表現の増強です。 新たに提案されたアーキテクチャは、スパースデータとノイズデータのみの存在下での大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2025-03-14T08:46:56Z)
• Label-Efficient LiDAR Semantic Segmentation with 2D-3D Vision Transformer Adapters [32.21090169762889]
  BALViTは、凍結視覚モデルを利用して強力なLiDARエンコーダを学習するためのアモーダル機能エンコーダである。 コードとモデルは、http://balvit.cs.uni-freiburg.deで公開しています。
  論文  参考訳（メタデータ） (2025-03-05T09:30:49Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• PointCLIP: Point Cloud Understanding by CLIP [77.02399444893963]
  本稿では,CLIP符号化点クラウドと3Dカテゴリテキストのアライメントを行うPointCLIPを提案する。 PointCLIPは、リソースコストとデータレシエーションの低いCLIPによる効果的な3Dポイントクラウド理解のための、有望な代替手段である。
  論文  参考訳（メタデータ） (2021-12-04T19:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。