論文の概要: Visual Memory and Textual Alignment for Cross-Modal Few-Shot Segmentation

• arxiv url: http://arxiv.org/abs/2610.25641v1
• Date: Mon, 19 Oct 2026 01:35:43 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:21:30.091491
• Title: Visual Memory and Textual Alignment for Cross-Modal Few-Shot Segmentation
• Title（参考訳）: クロスモーダルFew-Shotセグメントのための視覚記憶とテキストアライメント
• Abstract要約: Few-shot segmentation (FSS) は、限定的なアノテーション付き例でターゲットオブジェクトをセグメントすることを目的としている。 近年, この課題の一般化をめざすため, 大規模な基礎モデルの研究が進められている。 モーダルアライメントにより視覚記憶とテキスト機能を統合するフレームワークであるViTA-SAMを提案する。
• 参考スコア（独自算出の注目度）: 34.461133608619015
• License:
• Abstract: Few-shot segmentation (FSS) aims to segment target objects with limited annotated examples. Recent studies have begun to explore large foundation models to improve generalization for this task. In particular, SAM 3 provides strong visual representations and supports text-guided segmentation. However, its performance remains limited in specialized domains, where semantic prompts and visual representations are often poorly aligned. To address this challenge, we propose ViTA-SAM, a framework built upon SAM 3 that integrates visual memory and textual features through cross-modal alignment. Specifically, we construct a visual memory module that encodes support features together with their corresponding masks, providing support-aware visual guidance for query prediction. In parallel, we leverage the text encoder of SAM 3 to extract semantic features as complementary priors. To bridge the gap between semantic and visual representations, we introduce a cross-modal alignment module that conditions textual features on memory-enhanced visual representations, yielding more consistent and visually grounded predictions. In addition, we propose a pseudo-label refinement strategy that updates the memory with predicted query masks, enabling query-adaptive representation learning. Extensive experiments on multiple benchmarks show that ViTA-SAM achieves the best overall performance among the compared methods, outperforming the strongest competing method by over 5% in average mIoU.
• Abstract（参考訳）: Few-shot segmentation (FSS) は、限定的なアノテーション付き例でターゲットオブジェクトをセグメントすることを目的としている。 近年, この課題の一般化をめざすため, 大規模な基礎モデルの研究が進められている。 特にSAM 3は強力な視覚表現を提供し、テキスト誘導セグメンテーションをサポートする。 しかし、セマンティックなプロンプトや視覚的な表現が不整合である特殊なドメインでは、そのパフォーマンスは依然として限られている。 この課題に対処するため,SAM 3 上に構築された ViTA-SAM を提案する。 具体的には、サポート機能を対応するマスクと共に符号化するビジュアルメモリモジュールを構築し、クエリ予測のためのサポート対応ビジュアルガイダンスを提供する。 並行して、SAM 3のテキストエンコーダを利用して、補完的な先行として意味的特徴を抽出する。 意味的表現と視覚的表現のギャップを埋めるために,我々は,メモリを拡張した視覚的表現のテキスト的特徴を規定し,より一貫性があり,視覚的に基礎付けられた予測を行うクロスモーダルアライメントモジュールを導入する。 さらに、予測されたクエリマスクでメモリを更新し、クエリ適応表現学習を可能にする擬似ラベル改善戦略を提案する。 複数のベンチマークにおいて、ViTA-SAMは比較手法の中で最高の総合的な性能を達成し、平均mIoUの5%以上で最強の競合手法を上回った。

関連論文リスト

• Exploiting Target Knowledge from MLLMs for Robust Few-Shot Segmentation [17.50007086573639]
  Few-shot segmentation (FSS) は、未確認のオブジェクトカテゴリをいくつかのラベル付き例で分割することを目的としている。 マルチモーダル大規模言語モデルの強力な推論能力を用いて,対象とする知識をマイニングする新しいフレームワークを提案する。 我々の実験では、MK-FSSは有望な結果を示し、既存の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2026-09-24T03:00:22Z)
• Evaluating SAM2 for Video Semantic Segmentation [60.157605818225186]
  Anything Model 2 (SAM2)は、画像とビデオの両方において、迅速な視覚オブジェクトのセグメンテーションのための強力な基盤モデルであることが証明されている。 本稿では, SAM2 から高密度ビデオセマンティック (VSS) への拡張について検討する。 我々の実験は、SAM2を利用することでVSSの全体的な性能が向上することを示唆している。
  論文  参考訳（メタデータ） (2025-12-01T15:15:16Z)
• Unbiased Semantic Decoding with Vision Foundation Models for Few-shot Segmentation [36.731980769369834]
  我々は,Segment Anything Model(SAM)と統合したunbiased Semantic Decoding(USD)戦略を提案する。 USD戦略は、一貫した予測を行うために、サポートセットとクエリセットの両方からターゲット情報を同時に抽出する。 ターゲット中心のプロンプト埋め込みを生成するために、学習可能なビジュアルテキストターゲットプロンプト生成器を提案する。
  論文  参考訳（メタデータ） (2025-11-19T04:41:43Z)
• Text4Seg++: Advancing Image Segmentation via Generative Language Modeling [52.07442359419673]
  画像分割をテキスト生成問題として用いた新しいテキスト・アズ・マスクパラダイムを提案する。 鍵となる革新はセグメンテーションマスクの新しいテキスト表現であるセグメンテーション記述子である。 自然およびリモートセンシングデータセットの実験は、Text4Seg++が最先端モデルよりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2025-09-08T04:07:14Z)
• FOCUS: Unified Vision-Language Modeling for Interactive Editing Driven by Referential Segmentation [55.01077993490845]
  最近のLVLM(Large Vision Language Models)は、視覚的理解と生成的モデリングを統一する有望な能力を示している。 本稿では,分割認識と制御可能なオブジェクト中心生成をエンドツーエンドフレームワークに統合した統合LVLMであるFOCUSを紹介する。
  論文  参考訳（メタデータ） (2025-06-20T07:46:40Z)
• QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
  トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。 視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
  論文  参考訳（メタデータ） (2025-04-03T18:47:16Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。