Fugu-MT 論文翻訳(概要): LGD: Leveraging Generative Descriptions for Zero-Shot Referring Image Segmentation

論文の概要: LGD: Leveraging Generative Descriptions for Zero-Shot Referring Image Segmentation

arxiv url: http://arxiv.org/abs/2504.14467v2
Date: Thu, 01 May 2025 14:14:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:52.697353
Title: LGD: Leveraging Generative Descriptions for Zero-Shot Referring Image Segmentation
Title（参考訳）: LGD:ゼロショット参照画像セグメンテーションのための生成記述を活用する
Authors: Jiachen Li, Qing Xie, Renshu Gu, Jinyu Xu, Yongjian Liu, Xiaohan Yu,
Abstract要約: ゼロショット参照画像セグメンテーションは、参照表現に基づいてターゲット領域の特定とセグメンテーションを目的としている。従来の作業では、ビジョンランゲージモデルとマスク提案ネットワークを領域テキストマッチングに利用することで、この問題に対処している。本稿では,LGD(Leveraging Generative Descriptions)について述べる。
参考スコア（独自算出の注目度）: 9.759008308251127
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Zero-shot referring image segmentation aims to locate and segment the target region based on a referring expression, with the primary challenge of aligning and matching semantics across visual and textual modalities without training. Previous works address this challenge by utilizing Vision-Language Models and mask proposal networks for region-text matching. However, this paradigm may lead to incorrect target localization due to the inherent ambiguity and diversity of free-form referring expressions. To alleviate this issue, we present LGD (Leveraging Generative Descriptions), a framework that utilizes the advanced language generation capabilities of Multi-Modal Large Language Models to enhance region-text matching performance in Vision-Language Models. Specifically, we first design two kinds of prompts, the attribute prompt and the surrounding prompt, to guide the Multi-Modal Large Language Models in generating descriptions related to the crucial attributes of the referent object and the details of surrounding objects, referred to as attribute description and surrounding description, respectively. Secondly, three visual-text matching scores are introduced to evaluate the similarity between instance-level visual features and textual features, which determines the mask most associated with the referring expression. The proposed method achieves new state-of-the-art performance on three public datasets RefCOCO, RefCOCO+ and RefCOCOg, with maximum improvements of 9.97% in oIoU and 11.29% in mIoU compared to previous methods.
Abstract（参考訳）: ゼロショット参照画像セグメンテーションは、参照表現に基づいてターゲット領域を特定し、セグメンテーションすることを目的としており、トレーニングなしで視覚的およびテキスト的モダリティ間のセマンティクスの整合と整合が主な課題である。従来の作業では、ビジョンランゲージモデルとマスク提案ネットワークを領域テキストマッチングに利用することで、この問題に対処している。しかし、このパラダイムは、自由形式参照表現の本質的な曖昧さと多様性のために、不正なターゲットローカライゼーションにつながる可能性がある。この問題を軽減するために,LGD(Leveraging Generative Descriptions)という,多モード大言語モデルの高度な言語生成機能を活用し,視覚言語モデルにおける領域テキストマッチング性能を向上させるフレームワークを提案する。具体的には、まず、属性プロンプトと周辺プロンプトという2種類のプロンプトを設計し、参照対象の重要属性と周辺対象の細部(属性記述と周辺記述)に関する記述を生成するために、マルチモーダル大言語モデル(Multi-Modal Large Language Models)を誘導する。次に、3つの視覚的テキストマッチングスコアを導入して、参照表現に最も関連付けられたマスクを決定するインスタンスレベルの視覚的特徴とテキスト的特徴との類似性を評価する。提案手法は,3つの公開データセットであるRefCOCO,RefCOCO+,RefCOCOgに対して,oIoUで9.97%,mIoUで11.29%の大幅な改善を実現した。

関連論文リスト

More Pictures Say More: Visual Intersection Network for Open Set Object Detection [4.206612461069489]
オープンセットオブジェクト検出(VINO)のための強力なDETRモデルであるVisual Intersection Networkを導入する。 VINOは、すべての時間ステップにまたがるカテゴリのセマンティックな交差を保存するために、マルチイメージのビジュアルバンクを構築する。提案手法は,対象カテゴリ意味論と領域意味論のより正確な一致を保証するとともに,事前学習時間とリソース要求を著しく低減する。
論文参考訳（メタデータ） (2024-08-26T05:52:35Z)
DynRefer: Delving into Region-level Multimodal Tasks via Dynamic Resolution [54.05367433562495]
DynReferは、人間の視覚認知の解像度適応性を模倣することで、高精度な領域レベルの参照を目指している。トレーニング中、DynReferは、マルチモーダルタスクの言語記述と、参照された領域のランダムなビューのセットをネストすることで構築された複数の解像度の画像とを一致させる。実験により、DynReferは、領域レベルのキャプション、オープンボキャブラリ領域認識、検出など幅広いタスクにおいて相互改善をもたらすことが示された。
論文参考訳（メタデータ） (2024-05-25T05:44:55Z)
Fuse & Calibrate: A bi-directional Vision-Language Guided Framework for Referring Image Segmentation [8.383431263616105]
FCNetは,視覚と言語の両方が役割を担っている,双方向誘導融合方式のフレームワークである。具体的には、視覚誘導方式を用いて初期マルチモーダル融合を行い、キービジョン情報に焦点を当てたマルチモーダル特徴を得る。次に,言語誘導型キャリブレーションモジュールを提案し,これらのマルチモーダル特徴をキャリブレーションし,入力文の文脈を確実に理解する。
論文参考訳（メタデータ） (2024-05-18T07:21:12Z)
Vision-Aware Text Features in Referring Image Segmentation: From Object Understanding to Context Understanding [26.768147543628096]
本稿では,人間の認知プロセスに触発された対象と文脈の理解を強調する新しい枠組みを提案する。提案手法は,3つのベンチマークデータセットにおいて,大幅な性能向上を実現する。
論文参考訳（メタデータ） (2024-04-12T16:38:48Z)
Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
論文参考訳（メタデータ） (2024-03-05T13:45:46Z)
Synchronizing Vision and Language: Bidirectional Token-Masking AutoEncoder for Referring Image Segmentation [26.262887028563163]
Referring Image (RIS)は、自然言語で表現されたターゲットオブジェクトをピクセルレベルのシーン内でセグメントすることを目的としている。マスク付きオートエンコーダ(MAE)に触発された新しい双方向トークンマスキングオートエンコーダ(BTMAE)を提案する。 BTMAEは、画像と言語の両方に欠けている機能をトークンレベルで再構築することで、画像から言語、言語へのイメージのコンテキストを学習する。
論文参考訳（メタデータ） (2023-11-29T07:33:38Z)
RISAM: Referring Image Segmentation via Mutual-Aware Attention Features [13.64992652002458]
イメージセグメンテーション(RIS)は、言語表現プロンプトに基づいて特定の領域をセグメンテーションすることを目的としている。既存の手法では、言語的特徴を視覚的特徴に取り入れ、マスク復号のためのマルチモーダル特徴を得る。本稿では,SAM(Seegment Anything Model)を利用した参照画像分割手法MARISを提案する。
論文参考訳（メタデータ） (2023-11-27T11:24:25Z)
DesCo: Learning Object Recognition with Rich Language Descriptions [93.8177229428617]
視覚言語アプローチの最近の発展は、言語指導から視覚認識モデルを学習するパラダイムシフトを引き起こしている。本稿では,リッチ言語記述を用いたオブジェクト認識モデル学習のための記述条件付き(DesCo)パラダイムを提案する。
論文参考訳（メタデータ） (2023-06-24T21:05:02Z)
Linguistic Query-Guided Mask Generation for Referring Image Segmentation [10.130530501400079]
画像セグメンテーションの参照は、与えられた言語表現に従って、興味のある画像領域をセグメンテーションすることを目的としている。本稿では,言語クエリ誘導マスク生成を行うために,トランスフォーマー上に構築されたエンドツーエンドフレームワークを提案する。
論文参考訳（メタデータ） (2023-01-16T13:38:22Z)
ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting [121.11880210592497]
言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
論文参考訳（メタデータ） (2022-11-19T03:50:33Z)
Exploring Multi-Modal Representations for Ambiguity Detection & Coreference Resolution in the SIMMC 2.0 Challenge [60.616313552585645]
会話型AIにおける効果的なあいまいさ検出と参照解決のためのモデルを提案する。具体的には,TOD-BERTとLXMERTをベースとしたモデルを用いて,多数のベースラインと比較し,アブレーション実験を行う。以上の結果から,(1)言語モデルでは曖昧さを検出するためにデータの相関を活用でき,(2)言語モデルではビジョンコンポーネントの必要性を回避できることがわかった。
論文参考訳（メタデータ） (2022-02-25T12:10:02Z)
Two-stage Visual Cues Enhancement Network for Referring Image Segmentation [89.49412325699537]
Referring Image (RIS)は、ある自然言語表現によって参照される画像から対象のオブジェクトをセグメント化することを目的としている。本稿では,2段階のビジュアルキュー拡張ネットワーク(TV-Net)を考案し,この問題に対処する。この2段階の強化により,提案するTV-Netは,自然言語表現と画像間のきめ細かいマッチング動作の学習において,より優れた性能を享受できる。
論文参考訳（メタデータ） (2021-10-09T02:53:39Z)
Referring Image Segmentation via Cross-Modal Progressive Comprehension [94.70482302324704]
画像セグメンテーションの参照は、自然言語表現で与えられた記述によく一致するエンティティの前景マスクをセグメンテーションすることを目的としている。従来のアプローチでは、暗黙的な特徴相互作用と視覚的モダリティと言語的モダリティの融合を用いてこの問題に対処していた。本稿では,この課題に効果的に対応するために,Cross-Modal Progressive (CMPC) モジュールと Text-Guided Feature Exchange (TGFE) モジュールを提案する。
論文参考訳（メタデータ） (2020-10-01T16:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。