論文の概要: dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3

• arxiv url: http://arxiv.org/abs/2603.19531v1
• Date: Thu, 19 Mar 2026 23:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:38.921018
• Title: dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3
• Title（参考訳）: dinov3.seg: DINOv3によるオープン語彙セマンティックセマンティックセグメンテーション
• Authors: Saikat Dutta, Biplab Banerjee, Hamid Rezatofighi,
• Abstract要約: Open-Vocabulary Semantics (OVSS)は、テキスト定義カテゴリのオープンセットからピクセルレベルのラベルを割り当て、推論時に見えないクラスに信頼性の高い一般化を要求する。 我々は dinov3.seg を導入し、 dinov3.txt を OVSS 専用のフレームワークに拡張した。 まず、このバックボーンに合わせたタスク固有のアーキテクチャを設計し、従来のオープン語彙セグメンテーション作業から確立した設計原則を体系的に適用する。 第2に、VTベースのエンコーダのグローバルトークンとローカルパッチレベルのビジュアル特徴の両方に整合したテキスト埋め込みを共同で活用する。
• 参考スコア（独自算出の注目度）: 36.6036728217708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-Vocabulary Semantic Segmentation (OVSS) assigns pixel-level labels from an open set of text-defined categories, demanding reliable generalization to unseen classes at inference. Although modern vision-language models (VLMs) support strong open-vocabulary recognition, their representations learned through global contrastive objectives remain suboptimal for dense prediction, prompting many OVSS methods to depend on limited adaptation or refinement of image-text similarity maps. This, in turn, restricts spatial precision and robustness in complex, cluttered scenes. We introduce dinov3.seg, extending dinov3.txt into a dedicated framework for OVSS. Our contributions are four-fold. First, we design a task-specific architecture tailored to this backbone, systematically adapting established design principles from prior open-vocabulary segmentation work. Second, we jointly leverage text embeddings aligned with both the global [CLS] token and local patch-level visual features from ViT-based encoder, effectively combining semantic discrimination with fine-grained spatial locality. Third, unlike prior approaches that rely primarily on post hoc similarity refinement, we perform early refinement of visual representations prior to image-text interaction, followed by late refinement of the resulting image-text correlation features, enabling more accurate and robust dense predictions in cluttered scenes. Finally, we propose a high-resolution local-global inference strategy based on sliding-window aggregation, which preserves spatial detail while maintaining global context. We conduct extensive experiments on five widely adopted OVSS benchmarks to evaluate our approach. The results demonstrate its effectiveness and robustness, consistently outperforming current state-of-the-art methods.
• Abstract（参考訳）: Open-Vocabulary Semantic Segmentation (OVSS)は、テキスト定義カテゴリのオープンセットからピクセルレベルのラベルを割り当て、推論時に見えないクラスに信頼性の高い一般化を要求する。 現代の視覚言語モデル(VLM)は、強力なオープン語彙認識をサポートしているが、大域的コントラストの目的によって学習された表現は、高密度な予測に最適であり、多くのOVSS法は、画像-テキスト類似性マップの限定的な適応や改良に依存している。 これは、複雑で散らばったシーンにおける空間的精度とロバスト性を制限する。 我々は dinov3.seg を導入し、 dinov3.txt を OVSS 専用のフレームワークに拡張した。 私たちの貢献は4倍です。 まず、このバックボーンに合わせたタスク固有のアーキテクチャを設計し、従来のオープン語彙セグメンテーション作業から確立した設計原則を体系的に適用する。 第2に,グローバルな[CLS]トークンと,ViTベースのエンコーダからの局所的なパッチレベルの視覚特徴の両方に整合したテキスト埋め込みを活用し,意味的識別と空間的局所性を効果的に組み合わせた。 第3に、主にホック後の類似性改善に依存する従来のアプローチとは異なり、画像とテキストの相互作用に先立って視覚表現を早期に洗練し、得られた画像とテキストの相関性を遅く改良し、散在するシーンにおいてより正確で堅牢な密集した予測を可能にする。 最後に,大域的文脈を維持しながら空間的詳細を保存し,スライディングウインドウ集約に基づく高分解能な局所的推論手法を提案する。 我々は,広く採用されている5つのOVSSベンチマークの広範な実験を行い,そのアプローチを評価した。 その結果、その有効性と堅牢性を示し、常に最先端の手法よりも優れていた。

関連論文リスト

• LoGoSeg: Integrating Local and Global Features for Open-Vocabulary Semantic Segmentation [12.192429756057132]
  Open-vocabulary semantic segmentation (OVSS)は、従来のクローズドセットセマンティックセマンティックセマンティクスを拡張する。 ロゴセグは、(i)グローバルな画像とテキストの類似性を通じて関連カテゴリを動的に重み付けし、幻覚を効果的に低減するオブジェクトの存在、(ii)正確な地域レベルの視覚的テキスト対応を確立する地域対応アライメントモジュール、(iii)ローカルな構造情報とグローバルな意味コンテキストを最適に結合するデュアルストリーム融合機構の3つの重要なイノベーションを統合する。
  論文  参考訳（メタデータ） (2026-02-05T12:03:11Z)
• LOC: A General Language-Guided Framework for Open-Set 3D Occupancy Prediction [9.311605679381529]
  我々は,様々な占有ネットワークに適用可能な汎用言語誘導フレームワークLOCを提案する。 自己教師型タスクには,動的/静的シーンに多フレームLiDAR点を融合する戦略,ポアソン再構成を用いて空白を埋める手法,K-Nearest Neighbor (KNN) を介してボクセルに意味を割り当てる手法を用いる。 我々のモデルは,CLIP機能空間に埋め込まれた高密度なボクセル特徴を予測し,テキストと画像の画素情報を統合し,テキストとセマンティックの類似性に基づいて分類する。
  論文  参考訳（メタデータ） (2025-10-25T03:27:19Z)
• Plug-in Feedback Self-adaptive Attention in CLIP for Training-free Open-Vocabulary Segmentation [48.488114831677166]
  CLIPは、強い視覚的テキストアライメントを示すが、ローカライゼーションが不十分なため、オープン語彙セグメンテーションに苦慮している。 本稿では,出力ベースのパッチレベルの対応を中間的注意に戻す,トレーニング不要でフィードバック駆動型の自己適応型フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-27T20:47:03Z)
• Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
  ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。 視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。 提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-08-24T15:45:22Z)
• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• EgoSplat: Open-Vocabulary Egocentric Scene Understanding with Language Embedded 3D Gaussian Splatting [108.15136508964011]
  EgoSplatは、オープン・ボキャブラリ・エゴセントリック・シーン理解のための3Dガウス・スプレイティング・フレームワークである。 EgoSplatは2つのデータセット上のローカライゼーションタスクとセグメンテーションタスクの両方において、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-03-14T12:21:26Z)
• GOV-NeSF: Generalizable Open-Vocabulary Neural Semantic Fields [50.68719394443926]
  Generalizable Open-Vocabulary Neural Semantic Fields (GOV-NeSF)は、オープン語彙意味論による3Dシーンの一般化可能な暗黙的表現を提供する新しいアプローチである。 GOV-NeSFは2次元および3次元のオープン語彙セマンティックセマンティックセグメンテーションにおいて最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-04-01T05:19:50Z)
• ROSITA: Enhancing Vision-and-Language Semantic Alignments via Cross- and Intra-modal Knowledge Integration [48.01536973731182]
  ROSITAと呼ばれる新しい視覚・言語事前学習手法を提案する。 クロスモーダルとイントラモーダルの知識を統合されたシーングラフに統合し、セマンティックアライメントを強化する。 ROSITAは6つのベンチマークデータセット上での3つの典型的な視覚・言語タスクにおいて、既存の最先端メソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2021-08-16T13:16:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。