論文の概要: Exploiting Target Knowledge from MLLMs for Robust Few-Shot Segmentation
- arxiv url: http://arxiv.org/abs/2609.28949v1
- Date: Thu, 24 Sep 2026 03:00:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.681953
- Title: Exploiting Target Knowledge from MLLMs for Robust Few-Shot Segmentation
- Title（参考訳）: MLLMからターゲット知識を抽出してロバストなFew-Shotセグメンテーション
- Abstract要約: Few-shot segmentation (FSS) は、未確認のオブジェクトカテゴリをいくつかのラベル付き例で分割することを目的としている。
マルチモーダル大規模言語モデルの強力な推論能力を用いて,対象とする知識をマイニングする新しいフレームワークを提案する。
我々の実験では、MK-FSSは有望な結果を示し、既存の手法をはるかに上回っている。
- 参考スコア（独自算出の注目度）: 17.50007086573639
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Few-shot segmentation (FSS) aims to segment unseen object categories with a few (e.g., one or five) labeled examples, enabling efficient adaptation to novel classes. Conventional models typically rely on appearance-based visual matching between support and query images for segmentation. While straightforward, these methods often struggle to handle significant appearance discrepancies and occlusions in the query image due to insufficient target knowledge. To mitigate this, we introduce a novel framework that mines target knowledge using the strong reasoning capacity of Multimodal Large Language Models (MLLMs) and employs it to enhance FSS. Specifically, building on SAM 2, our method, named MK-FSS, exploits two forms of complementary knowledge derived from a query image by an MLLM for FSS, including spatial knowledge, which provides a spatial prior indicating the potential target location, and semantic knowledge, which describes the target using text. The spatial knowledge is first encoded into a memory representation, and then resulting memory is integrated with the support-guided memory feature from query image through a carefully designed dual-memory debate-fusion (DMDF) module, yielding a more robust target memory feature. In parallel, the semantic knowledge is encoded into the textual feature, which is fused with multi-scale query features via a progressive cross-modal prompt generator (PCPG), producing a target-aware multimodal prompt for segmentation. Working together, the dual-memory feature and the multimodal prompt provide a comprehensive representation of the target, enabling more robust segmentation. In our extensive experiments, MK-FSS shows promising results and largely surpasses existing methods. Code will be released.
- Abstract（参考訳）: Few-shot segmentation (FSS)は、未確認のオブジェクトカテゴリをラベル付き例(例:1または5)で分割することを目的としており、新しいクラスへの効率的な適応を可能にする。
従来のモデルは一般的に、セグメンテーションのためのサポートとクエリイメージの間の外観ベースのビジュアルマッチングに依存している。
単純ではあるが、これらの手法は、ターゲットの知識が不十分なため、クエリー画像における顕著な外観上の不一致や閉塞に対処するのに苦労することが多い。
そこで本稿では,MLLM(Multimodal Large Language Models)の強力な推論能力を用いて,目的とする知識をマイニングする新たなフレームワークを提案する。
具体的には,MK-FSS と呼ばれる SAM 2 上に構築する手法は,空間的知識を含む FSS のための MLLM によるクエリ画像から導出した補完的知識と,テキストを用いて対象を記述した意味的知識の2つの形式を利用する。
空間的知識はまずメモリ表現にエンコードされ、その結果のメモリはクエリイメージから慎重に設計されたデュアルメモリ討論融合(DMDF)モジュールを通してサポート誘導メモリ特徴と統合され、より堅牢なターゲットメモリ特徴が得られる。
並行して、意味知識はテキスト機能に符号化され、プログレッシブ・クロスモーダル・プロンプト・ジェネレータ(PCPG)を介してマルチスケールのクエリ機能と融合し、セグメンテーションのためのターゲット認識マルチモーダル・プロンプトを生成する。
デュアルメモリ機能とマルチモーダルプロンプトを組み合わせることで、ターゲットの包括的な表現が可能になり、より堅牢なセグメンテーションが可能になる。
我々の大規模な実験では、MK-FSSは有望な結果を示し、既存の手法をはるかに上回っている。
コードはリリースされる。
関連論文リスト
- PlugMem: A Task-Agnostic Plugin Memory Module for LLM Agents [74.4491017652226]
タスク固有の再設計なしに任意のLLMエージェントにアタッチ可能なタスク非依存メモリモジュールであるPlugMemを提案する。
意思決定関連情報が生の経験よりも抽象的な知識として集中しているという事実に感銘されて、認識科学に焦点をあてて、エピソード記憶をコンパクトで知識中心の記憶グラフに構造化する。
PlugMemを3つのベンチマーク(長期会話型質問応答、マルチホップ知識検索、Webエージェントタスク)で評価する。
論文 参考訳（メタデータ） (2026-02-06T18:55:38Z) - Evaluating SAM2 for Video Semantic Segmentation [60.157605818225186]
Anything Model 2 (SAM2)は、画像とビデオの両方において、迅速な視覚オブジェクトのセグメンテーションのための強力な基盤モデルであることが証明されている。
本稿では, SAM2 から高密度ビデオセマンティック (VSS) への拡張について検討する。
我々の実験は、SAM2を利用することでVSSの全体的な性能が向上することを示唆している。
論文 参考訳（メタデータ） (2025-12-01T15:15:16Z) - Unbiased Semantic Decoding with Vision Foundation Models for Few-shot Segmentation [36.731980769369834]
我々は,Segment Anything Model(SAM)と統合したunbiased Semantic Decoding(USD)戦略を提案する。
USD戦略は、一貫した予測を行うために、サポートセットとクエリセットの両方からターゲット情報を同時に抽出する。
ターゲット中心のプロンプト埋め込みを生成するために、学習可能なビジュアルテキストターゲットプロンプト生成器を提案する。
論文 参考訳（メタデータ） (2025-11-19T04:41:43Z) - Perceive Anything: Recognize, Explain, Caption, and Segment Anything in Images and Videos [53.723410664944566]
本稿では,画像やビデオの総合的な領域レベルの視覚的理解のためのフレームワークであるPerceive Anything Model(PAM)を提案する。
提案手法は,Large Language Models (LLMs) を統合することで,強力なセグメンテーションモデルSAM 2を拡張し,オブジェクトセグメンテーションの同時実現を可能にする。
SAM 2のリッチな視覚的特徴をマルチモーダルトークンに効率的に変換するために、Semantic Perceiverという重要なコンポーネントが導入されている。
論文 参考訳（メタデータ） (2025-06-05T17:51:39Z) - Unlocking the Capabilities of Large Vision-Language Models for Generalizable and Explainable Deepfake Detection [18.125287697902813]
現在のLVLM(Large Vision-Language Models)は、マルチモーダルデータの理解において顕著な能力を示している。
深度検出のためのLVLMの潜在能力を解き放つ新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-19T03:20:03Z) - MemorySAM: Memorize Modalities and Semantics with Segment Anything Model 2 for Multi-modal Semantic Segmentation [22.482211353379927]
大型ビジョンモデルであるAnythingCube Model 2 (SAM2)は、画像とビデオの両方でゼロショットセグメンテーション性能が強い。
ビデオにおけるクロスフレーム相関に着想を得て,同一シーンを表すフレームの列としてマルチモーダルデータを扱うことを提案する。
私たちのキーとなるアイデアは、モダリティに依存しない情報を「記憶」し、ターゲットのシーンに関連する意味を「記憶」することです。
論文 参考訳（メタデータ） (2025-03-09T17:33:15Z) - Cross-Modal Bidirectional Interaction Model for Referring Remote Sensing Image Segmentation [50.433911327489554]
リモートセンシング画像セグメンテーション(RRSIS)の目標は、参照式によって識別された対象オブジェクトの画素レベルマスクを生成することである。
上記の課題に対処するため、クロスモーダル双方向相互作用モデル(CroBIM)と呼ばれる新しいRRSISフレームワークが提案されている。
RRSISの研究をさらに推し進めるために、52,472個の画像言語ラベル三重項からなる新しい大規模ベンチマークデータセットRISBenchを構築した。
論文 参考訳（メタデータ） (2024-10-11T08:28:04Z) - Masked Cross-image Encoding for Few-shot Segmentation [16.445813548503708]
Few-shot segmentation (FSS) は、注釈付き画像の限られた数だけを用いて、未確認クラスのピクセルワイズラベルを推測することを目的とした、密度の高い予測タスクである。
本研究では,オブジェクトの詳細を記述した共通視覚特性をキャプチャし,特徴の相互作用を高める双方向画像間の依存関係を学習する,Masked Cross-Image MCEという共同学習手法を提案する。
論文 参考訳（メタデータ） (2023-08-22T05:36:39Z) - RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。
提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。
我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
論文 参考訳（メタデータ） (2023-07-03T13:21:58Z) - AF$_2$: Adaptive Focus Framework for Aerial Imagery Segmentation [86.44683367028914]
航空画像のセグメンテーションにはいくつかの独特な課題があり、中でも最も重要なものは前景と背景のアンバランスにある。
本稿では,階層的なセグメンテーション手法を採用し,マルチスケール表現を適応的に活用するAdaptive Focus Framework (AF$)を提案する。
AF$は、広く使われている3つの航空ベンチマークの精度を大幅に改善した。
論文 参考訳（メタデータ） (2022-02-18T10:14:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。