論文の概要: VLT: Vision-Language Transformer and Query Generation for Referring Segmentation

• arxiv url: http://arxiv.org/abs/2210.15871v1
• Date: Fri, 28 Oct 2022 03:36:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 16:14:32.857651
• Title: VLT: Vision-Language Transformer and Query Generation for Referring Segmentation
• Title（参考訳）: VLT:視覚言語変換器と参照セグメンテーションのためのクエリ生成
• Authors: Henghui Ding, Chang Liu, Suchen Wang, Xudong Jiang
• Abstract要約: マルチモーダル情報間のディープインタラクションを容易にするために,セグメンテーションを参照するためのフレームワークを提案する。 我々は,同じ対象対象に対して異なる表現の特徴を狭めるために,マスク付きコントラスト学習を導入する。 提案手法は軽量で,5つのデータセットに対して一貫した,最先端の参照セグメンテーション結果を実現する。
• 参考スコア（独自算出の注目度）: 31.051579752237746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a Vision-Language Transformer (VLT) framework for referring segmentation to facilitate deep interactions among multi-modal information and enhance the holistic understanding to vision-language features. There are different ways to understand the dynamic emphasis of a language expression, especially when interacting with the image. However, the learned queries in existing transformer works are fixed after training, which cannot cope with the randomness and huge diversity of the language expressions. To address this issue, we propose a Query Generation Module, which dynamically produces multiple sets of input-specific queries to represent the diverse comprehensions of language expression. To find the best among these diverse comprehensions, so as to generate a better mask, we propose a Query Balance Module to selectively fuse the corresponding responses of the set of queries. Furthermore, to enhance the model's ability in dealing with diverse language expressions, we consider inter-sample learning to explicitly endow the model with knowledge of understanding different language expressions to the same object. We introduce masked contrastive learning to narrow down the features of different expressions for the same target object while distinguishing the features of different objects. The proposed approach is lightweight and achieves new state-of-the-art referring segmentation results consistently on five datasets.
• Abstract（参考訳）: 本稿では,多モーダル情報間の深い相互作用を促進するためにセグメンテーションを参照する視覚言語変換器(VLT)フレームワークを提案する。 言語表現のダイナミックな強調を理解するには,特に画像と対話する場合には,さまざまな方法がある。 しかし、既存の変圧器作業における学習クエリは、学習後に固定されるため、言語表現のランダム性や膨大な多様性に対処できない。 そこで本稿では,言語表現の多様な理解を表現するために,複数の入力固有のクエリを動的に生成する問合せ生成モジュールを提案する。 これらの多様な理解の中で最良のものを見つけるため、より優れたマスクを生成するために、クエリの集合の対応する応答を選択的に融合するクエリバランスモジュールを提案する。 さらに、多様な言語表現を扱うモデルの能力を高めるため、サンプル間学習は、モデルに異なる言語表現を同じオブジェクトに理解する知識を明示的に付与することを考慮します。 異なる対象オブジェクトの特徴を区別しながら、同じ対象オブジェクトに対して異なる表現の特徴を狭めるために、マスク付きコントラスト学習を導入する。 提案手法は軽量であり,5つのデータセットで一貫したセグメンテーション結果を実現する。

関連論文リスト

• Enhancing Multimodal Query Representation via Visual Dialogues for End-to-End Knowledge Retrieval [26.585985828583304]
  本稿では,マルチモーダルクエリを理解可能なテキスト検索機能を実現するために,エンドツーエンドのマルチモーダル検索システムRet-XKnowを提案する。 マルチモーダルインタラクションを効果的に学習するために、視覚対話データセットから構築したVisual Dialogue-to-Retrievalデータセットも導入する。 提案手法は,ゼロショット設定における検索性能を大幅に向上するだけでなく,微調整シナリオの大幅な改善も達成できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T04:32:58Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• Morphosyntactic probing of multilingual BERT models [41.83131308999425]
  言語モデルにおける形態情報の多言語探索のための広範囲なデータセットを提案する。 トレーニング済みのTransformerモデル (mBERT と XLM-RoBERTa) では,これらのタスク間で高い性能を実現することができる。
  論文  参考訳（メタデータ） (2023-06-09T19:15:20Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)
• Position-Aware Contrastive Alignment for Referring Image Segmentation [65.16214741785633]
  マルチモーダル特徴のアライメントを強化するために,位置認識型コントラストアライメントネットワーク(PCAN)を提案する。 1)自然言語記述に関連するすべてのオブジェクトの位置情報を提供する位置認識モジュール(PAM)と,2)マルチモーダルアライメントを強化するコントラスト言語理解モジュール(CLUM)の2つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2022-12-27T09:13:19Z)
• Vision-Language Transformer and Query Generation for Referring Segmentation [39.01244764840372]
  我々は参照セグメンテーションを直接的な注意問題として再検討する。 エンコーダとデコーダのアテンション機構を組み込んだネットワークを構築し、与えられた画像を言語表現で"クエリ"する。 我々のアプローチは軽量であり、3つの参照セグメンテーションデータセット上で新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-08-12T07:24:35Z)
• Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
  画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。 提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2021-04-20T17:56:24Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Referring Image Segmentation via Cross-Modal Progressive Comprehension [94.70482302324704]
  画像セグメンテーションの参照は、自然言語表現で与えられた記述によく一致するエンティティの前景マスクをセグメンテーションすることを目的としている。 従来のアプローチでは、暗黙的な特徴相互作用と視覚的モダリティと言語的モダリティの融合を用いてこの問題に対処していた。 本稿では,この課題に効果的に対応するために,Cross-Modal Progressive (CMPC) モジュールと Text-Guided Feature Exchange (TGFE) モジュールを提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。