論文の概要: DINOv2-powered Few-Shot Semantic Segmentation: A Unified Framework via Cross-Model Distillation and 4D Correlation Mining

• arxiv url: http://arxiv.org/abs/2504.15669v1
• Date: Tue, 22 Apr 2025 07:47:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 21:42:42.293872
• Title: DINOv2-powered Few-Shot Semantic Segmentation: A Unified Framework via Cross-Model Distillation and 4D Correlation Mining
• Title（参考訳）: DINOv2によるFew-Shot Semantic Segmentation: クロスモデル蒸留と4次元相関マイニングによる統一フレームワーク
• Authors: Wei Zhuo, Zhiyue Tang, Wufeng Xue, Hao Ding, Linlin Shen,
• Abstract要約: セマンティックセグメンテーションは、その一般化能力によって関心が高まっている。 近年,表現の伝達性向上のための基礎モデルが提案されている。 DINOv2エンコーダと軽量セグメンタのみを備えたFS-DINOを提案する。
• 参考スコア（独自算出の注目度）: 30.564216896513596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot semantic segmentation has gained increasing interest due to its generalization capability, i.e., segmenting pixels of novel classes requiring only a few annotated images. Prior work has focused on meta-learning for support-query matching, with extensive development in both prototype-based and aggregation-based methods. To address data scarcity, recent approaches have turned to foundation models to enhance representation transferability for novel class segmentation. Among them, a hybrid dual-modal framework including both DINOv2 and SAM has garnered attention due to their complementary capabilities. We wonder "can we build a unified model with knowledge from both foundation models?" To this end, we propose FS-DINO, with only DINOv2's encoder and a lightweight segmenter. The segmenter features a bottleneck adapter, a meta-visual prompt generator based on dense similarities and semantic embeddings, and a decoder. Through coarse-to-fine cross-model distillation, we effectively integrate SAM's knowledge into our lightweight segmenter, which can be further enhanced by 4D correlation mining on support-query pairs. Extensive experiments on COCO-20i, PASCAL-5i, and FSS-1000 demonstrate the effectiveness and superiority of our method.
• Abstract（参考訳）: セマンティックセマンティックセマンティクスは、その一般化能力、すなわち、いくつかの注釈付き画像のみを必要とする新しいクラスのセマンティクスピクセルのセマンティクス機能によって、関心が高まっている。 以前の研究は、サポートクエリマッチングのためのメタラーニングに重点を置いており、プロトタイプベースとアグリゲーションベースの両方の手法で広範囲に開発されている。 データ不足に対処するため、近年のアプローチは、新しいクラスセグメンテーションの表現伝達性を高める基礎モデルに転換されている。 その中でも、DINOv2とSAMを含むハイブリッドなデュアルモーダルフレームワークは、その補完機能のために注目を集めている。 両方の基礎モデルから知識を持った統一モデルを構築することができるのだろうか? そこで我々は,DINOv2エンコーダと軽量セグメンタのみを備えたFS-DINOを提案する。 セグメンタは、ボトルネックアダプタ、密接な類似性とセマンティック埋め込みに基づくメタ視覚プロンプトジェネレータ、デコーダを備えている。 粗大〜細大のクロスモデル蒸留により,SAMの知識を軽量セグメンタに効果的に統合し,サポート・クエリ対上での4次元相関マイニングによりさらに高めることができる。 COCO-20i, PASCAL-5i, FSS-1000の大規模実験により, 本法の有効性と優位性を示した。

関連論文リスト

• DSU-Net:An Improved U-Net Model Based on DINOv2 and SAM2 with Multi-scale Cross-model Feature Enhancement [7.9006143460465355]
  本稿では,DINOv2によるSAM2用マルチスケール機能協調フレームワークを提案する。 コストのかかるトレーニングプロセスを必要とせず、カモフラージュ目標検出や有能なオブジェクト検出といった下流タスクにおいて、既存の最先端のメソオードを超越している。
  論文  参考訳（メタデータ） (2025-03-27T06:08:24Z)
• TAVP: Task-Adaptive Visual Prompt for Cross-domain Few-shot Segmentation [40.49924427388922]
  本稿では,CD-FSS(Cross-dominan Few-shot segmentation)のためのタスク適応型自動視覚プロンプトフレームワークを提案する。 クラスドメインタスク適応オートプロンプト(CDTAP)モジュールを組み込んで、クラスドメインの特徴抽出を可能にし、高品質で学習可能なビジュアルプロンプトを生成する。 本モデルでは,1ショット設定では1.3%,5ショット設定では11.76%の精度向上を実現し,最先端のCD-FSS手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-09T07:43:58Z)
• Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
  医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。 半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
  論文  参考訳（メタデータ） (2023-12-26T12:56:31Z)
• AM-RADIO: Agglomerative Vision Foundation Model -- Reduce All Domains Into One [47.58919672657824]
  このアプローチをAM-RADIO(Agglomerative Model -- すべてのドメインを1に還元する)と名付けます。 教師モデルより少なくとも7倍高速な新しいアーキテクチャ(E-RADIO)を開発した。 包括的なベンチマークプロセスでは、ImageNet分類、ADE20kセマンティックセグメンテーション、COCOオブジェクト検出、LLaVa-1.5フレームワークなどの下流タスクをカバーしています。
  論文  参考訳（メタデータ） (2023-12-10T17:07:29Z)
• Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
  本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。 複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。 マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
  論文  参考訳（メタデータ） (2023-07-10T17:59:40Z)
• Hierarchical Dense Correlation Distillation for Few-Shot Segmentation-Extended Abstract [47.85056124410376]
  Few-shot semantic segmentation (FSS) は、いくつかのアノテーションだけで見えないクラスをセグメンテーションするクラスに依存しないモデルを構築することを目的としている。 我々は、トランスアーキテクチャに基づく階層的分離マッチングネットワーク(HDMNet)マイニングピクセルレベルのサポート相関を設計する。 本稿では,列車セットの過度適合を低減し,粗い分解から意味対応を生かした相関蒸留を導入し,細粒度セグメンテーションを向上するマッチングモジュールを提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:10:20Z)
• Hierarchical Dense Correlation Distillation for Few-Shot Segmentation [46.696051965252934]
  Few-shot semantic segmentation (FSS) は、いくつかのアノテーションだけで見えないクラスをセグメンテーションするクラスに依存しないモデルを構築することを目的としている。 我々は、トランスアーキテクチャに基づく階層的分離マッチングネットワーク(HDMNet)マイニングピクセルレベルのサポート相関を設計する。 本稿では,列車セットの過度適合を低減し,粗い分解から意味対応を生かした相関蒸留を導入し,細粒度セグメンテーションを向上するマッチングモジュールを提案する。
  論文  参考訳（メタデータ） (2023-03-26T08:13:12Z)
• Learning What Not to Segment: A New Perspective on Few-Shot Segmentation [63.910211095033596]
  近年では、FSS ( few-shot segmentation) が広く開発されている。 本稿では,問題を緩和するための新鮮で直接的な知見を提案する。 提案されたアプローチのユニークな性質を踏まえて、より現実的で挑戦的な設定にまで拡張する。
  論文  参考訳（メタデータ） (2022-03-15T03:08:27Z)
• Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
  人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。 本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。 本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T22:46:19Z)
• SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes [56.387647750094466]
  Few-shot セマンティックセマンティックセマンティクスは,クエリイメージ内の新規クラスオブジェクトを,アノテーション付きの例で分割することを目的としている。 先進的なソリューションのほとんどは、各ピクセルを学習した前景のプロトタイプに合わせることでセグメンテーションを行うメトリクス学習フレームワークを利用している。 このフレームワークは、前景プロトタイプのみとのサンプルペアの不完全な構築のために偏った分類に苦しんでいます。
  論文  参考訳（メタデータ） (2021-04-19T11:21:47Z)
• MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down Distillation [153.56211546576978]
  本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。 このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。 実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
  論文  参考訳（メタデータ） (2020-08-27T13:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。