論文の概要: The Power of One: A Single Example is All it Takes for Segmentation in VLMs

• arxiv url: http://arxiv.org/abs/2503.10779v1
• Date: Thu, 13 Mar 2025 18:18:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:07:40.511815
• Title: The Power of One: A Single Example is All it Takes for Segmentation in VLMs
• Title（参考訳）: 1の力:VLMのセグメンテーションに要する1つの例
• Authors: Mir Rayat Imtiaz Hossain, Mennatullah Siam, Leonid Sigal, James J. Little,
• Abstract要約: 大規模視覚言語モデル(VLM)は、テキスト記述と画像領域の関連性を暗黙的に学習することで、強力なマルチモーダル理解能力を示す。 この創発的能力は、テキストイメージの注意マップに依存する技術を用いて、ゼロショットオブジェクトの検出とセグメンテーションを可能にする。 提案手法は, ゼロショット性能が向上し, 単一視覚例による微調整によりさらに向上することを示す。
• 参考スコア（独自算出の注目度）: 29.735863112700358
• License:
• Abstract: Large-scale vision-language models (VLMs), trained on extensive datasets of image-text pairs, exhibit strong multimodal understanding capabilities by implicitly learning associations between textual descriptions and image regions. This emergent ability enables zero-shot object detection and segmentation, using techniques that rely on text-image attention maps, without necessarily training on abundant labeled segmentation datasets. However, performance of such methods depends heavily on prompt engineering and manually selected layers or head choices for the attention layers. In this work, we demonstrate that, rather than relying solely on textual prompts, providing a single visual example for each category and fine-tuning the text-to-image attention layers and embeddings significantly improves the performance. Additionally, we propose learning an ensemble through few-shot fine-tuning across multiple layers and/or prompts. An entropy-based ranking and selection mechanism for text-to-image attention layers is proposed to identify the top-performing layers without the need for segmentation labels. This eliminates the need for hyper-parameter selection of text-to-image attention layers, providing a more flexible and scalable solution for open-vocabulary segmentation. We show that this approach yields strong zero-shot performance, further enhanced through fine-tuning with a single visual example. Moreover, we demonstrate that our method and findings are general and can be applied across various vision-language models (VLMs).
• Abstract（参考訳）: 画像テキストペアの広範なデータセットに基づいて訓練された大規模視覚言語モデル(VLM)は、テキスト記述と画像領域の関連性を暗黙的に学習することで、強力なマルチモーダル理解能力を示す。 この創発的能力はゼロショットオブジェクトの検出とセグメンテーションを可能にし、大量のラベル付きセグメンテーションデータセットをトレーニングすることなく、テキストイメージのアテンションマップに依存する技術を使用する。 しかし,このような手法の性能は,注目層に対して手動で選択したレイヤやヘッドの選択に大きく依存する。 本研究は,テキストプロンプトのみに頼るのではなく,各カテゴリに単一の視覚的例を提供し,テキスト・ツー・イメージの注意層を微調整し,埋め込みによって性能を著しく向上させることを実証する。 さらに,複数層および/またはプロンプトにまたがる数ショットの微調整によるアンサンブルの学習を提案する。 テキスト・ツー・イメージ・アテンション・レイヤのエントロピーに基づくランキングと選択機構を提案し,セグメンテーション・ラベルを必要とせずにトップパフォーマンス・レイヤを識別する。 これにより、テキストから画像へのアテンション層のハイパーパラメータ選択が不要になり、オープン語彙セグメンテーションのためのより柔軟でスケーラブルなソリューションが提供される。 提案手法は, ゼロショット性能が向上し, 単一視覚例による微調整によりさらに向上することを示す。 さらに,本手法と知見は汎用的であり,様々な視覚言語モデル(VLM)に適用可能であることを示す。

関連論文リスト

• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• Grounding Descriptions in Images informs Zero-Shot Visual Recognition [47.66166611138081]
  我々は,表現を細かなレベルと粗いレベルの両方で同時に調整することを目的とした,新しい事前学習戦略であるGRAINを提案する。 我々は,現在の最先端技術と比較して,モデルのゼロショット性能の向上を実証する。
  論文  参考訳（メタデータ） (2024-12-05T18:52:00Z)
• LMSeg: Unleashing the Power of Large-Scale Models for Open-Vocabulary Semantic Segmentation [16.864086165056698]
  既存のオープン語彙アプローチでは、CLIPなどのビジョン言語モデルを活用して、大規模なビジョン言語データセットの事前トレーニングを通じて取得したリッチなセマンティック機能と視覚機能を整合させる。 本稿では,複数の大規模モデルを活用して,より細かい視覚的特徴と豊かな言語的特徴との整合性を高めることで問題を緩和することを提案する。 提案手法は,すべての主要な開語彙セグメンテーションベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-30T05:49:42Z)
• Visual Prompt Selection for In-Context Learning Segmentation [77.15684360470152]
  本稿では,サンプル選択戦略の再考と改善に焦点をあてる。 まず、ICLに基づくセグメンテーションモデルが異なる文脈に敏感であることを示す。 さらに、経験的証拠は、文脈的プロンプトの多様性がセグメンテーションを導く上で重要な役割を担っていることを示している。
  論文  参考訳（メタデータ） (2024-07-14T15:02:54Z)
• Can Better Text Semantics in Prompt Tuning Improve VLM Generalization? [28.041879000565874]
  本稿では,大規模言語モデルから得られたクラス記述を活用するプロンプトチューニング手法を提案する。 提案手法では,より一般化可能なプロンプトを学習するために,部分レベルの説明誘導画像とテキストの特徴を合成する。 11のベンチマークデータセットで実施した総合的な実験から,提案手法が確立された手法より優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-05-13T16:52:17Z)
• Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation [59.78520153338878]
  テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。 そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T07:59:07Z)
• LPN: Language-guided Prototypical Network for few-shot classification [16.37959398470535]
  ラベル付き例を限定して、新しいタスクに適応することを目的としている。 近年の手法では,クエリとサポート画像の類似性の適切な測定方法が検討されている。 本稿では,言語誘導型プロトタイプネットワーク(LPN)を提案する。
  論文  参考訳（メタデータ） (2023-07-04T06:54:01Z)
• Diffusion Models for Open-Vocabulary Segmentation [79.02153797465324]
  OVDiffは、教師なしオープン語彙セグメンテーションに生成テキストから画像への拡散モデルを利用する新しい手法である。 トレーニング済みのコンポーネントのみに依存し、トレーニングなしで合成セグメンタを直接出力する。
  論文  参考訳（メタデータ） (2023-06-15T17:51:28Z)
• Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding [95.78002228538841]
  本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。 提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
  論文  参考訳（メタデータ） (2022-07-18T09:20:04Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。