論文の概要: Object Attribute Matters in Visual Question Answering

• arxiv url: http://arxiv.org/abs/2401.09442v1
• Date: Wed, 20 Dec 2023 12:46:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 09:26:16.334691
• Title: Object Attribute Matters in Visual Question Answering
• Title（参考訳）: 視覚的質問応答における対象属性
• Authors: Peize Li, Qingyi Si, Peng Fu, Zheng Lin, Yan Wang
• Abstract要約: 本稿では,オブジェクト属性の活用の観点から,新しいVQAアプローチを提案する。 属性融合モジュールはマルチモーダルグラフニューラルネットワークを構築し、メッセージパッシングを通じて属性と視覚的特徴を融合する。 オブジェクトレベルの視覚言語アライメントの改善により、マルチモーダルシーンの理解が容易になり、モデルの堅牢性が改善される。
• 参考スコア（独自算出の注目度）: 15.705504296316576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual question answering is a multimodal task that requires the joint comprehension of visual and textual information. However, integrating visual and textual semantics solely through attention layers is insufficient to comprehensively understand and align information from both modalities. Intuitively, object attributes can naturally serve as a bridge to unify them, which has been overlooked in previous research. In this paper, we propose a novel VQA approach from the perspective of utilizing object attribute, aiming to achieve better object-level visual-language alignment and multimodal scene understanding. Specifically, we design an attribute fusion module and a contrastive knowledge distillation module. The attribute fusion module constructs a multimodal graph neural network to fuse attributes and visual features through message passing. The enhanced object-level visual features contribute to solving fine-grained problem like counting-question. The better object-level visual-language alignment aids in understanding multimodal scenes, thereby improving the model's robustness. Furthermore, to augment scene understanding and the out-of-distribution performance, the contrastive knowledge distillation module introduces a series of implicit knowledge. We distill knowledge into attributes through contrastive loss, which further strengthens the representation learning of attribute features and facilitates visual-linguistic alignment. Intensive experiments on six datasets, COCO-QA, VQAv2, VQA-CPv2, VQA-CPv1, VQAvs and TDIUC, show the superiority of the proposed method.
• Abstract（参考訳）: 視覚的質問応答は、視覚情報とテキスト情報の共同理解を必要とするマルチモーダルタスクである。 しかしながら、注意層のみを通して視覚とテキストのセマンティクスを統合することは、両方のモダリティから情報を総合的に理解し調整するには不十分である。 直感的には、オブジェクト属性は自然にそれらを統一するためのブリッジとして機能することができる。 本稿では,オブジェクト属性の利用の観点から,オブジェクトレベルの視覚的アライメントとマルチモーダルシーン理解の実現を目的とした,新しいVQAアプローチを提案する。 具体的には,属性融合モジュールと対照的な知識蒸留モジュールを設計する。 attribute fusionモジュールは、メッセージパッシングを通じて属性と視覚的特徴を融合するマルチモーダルグラフニューラルネットワークを構築する。 オブジェクトレベルの視覚的特徴の強化は、カウントクエストのようなきめ細かい問題の解決に寄与する。 より優れたオブジェクトレベルの視覚言語アライメントは、マルチモーダルシーンを理解するのに役立つ。 さらに, シーン理解と分散性能を高めるため, コントラスト的知識蒸留モジュールでは, 一連の暗黙的知識を導入する。 我々は,属性特徴の表現学習を強化し,視覚言語的アライメントを促進するために,知識を属性に抽出する。 また,COCO-QA,VQAv2,VQA-CPv2,VQA-CPv1,VQAvs,TDIUCの6つのデータセットに対して,提案手法の優位性を示す。

関連論文リスト

• PSVMA+: Exploring Multi-granularity Semantic-visual Adaption for Generalized Zero-shot Learning [116.33775552866476]
  一般化ゼロショット学習(GZSL)は、目に見えない領域の知識を用いて、見えないものを識別する試みである。 GZSLは、属性の多様性とインスタンスの多様性により、視覚的セマンティックな対応が不十分である。 本稿では,不整合の解消に十分な視覚要素を収集できる多粒性プログレッシブ・セマンティック・視覚適応ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T12:49:33Z)
• KNN Transformer with Pyramid Prompts for Few-Shot Learning [52.735070934075736]
  Few-Shot Learningはラベル付きデータで新しいクラスを認識することを目的としている。 近年の研究では、視覚的特徴を調節するためのテキストプロンプトを用いたまれなサンプルの課題に対処しようと試みている。
  論文  参考訳（メタデータ） (2024-10-14T07:39:30Z)
• ARMADA: Attribute-Based Multimodal Data Augmentation [93.05614922383822]
  Attribute-based Multimodal Data Augmentation (ARMADA) は、知識誘導による視覚属性の操作による新しいマルチモーダルデータ拡張手法である。 ARMADAは、新しいマルチモーダルデータ生成フレームワークである。 (i) 意味的に一貫性があるがユニークな画像-テキストペア生成のために、シンボリックKBから知識基底属性を抽出する。 これはまた、解釈可能性の向上と現実世界の接地のために外部の知識プロキシを活用する必要性を強調している。
  論文  参考訳（メタデータ） (2024-08-19T15:27:25Z)
• Instruction Tuning-free Visual Token Complement for Multimodal LLMs [51.138806401996696]
  マルチモーダルな大言語モデル(MLLM)は、視覚と言語の間のエレガントな橋渡しを約束している。 本稿では,MLLM が欠落した視覚機能を取り戻すのに役立つ Visual Token Complement フレームワーク (VTC) を提案する。 我々のVTCは、テキスト不関連特徴を特定するためのガイドとしてテキスト・ツー・イメージ生成を統合し、視覚的セレクタを開発し、補完的な視覚的トークンを生成する。
  論文  参考訳（メタデータ） (2024-08-09T12:13:01Z)
• LVLM-empowered Multi-modal Representation Learning for Visual Place Recognition [17.388776062997813]
  視覚シーンの画像データとテキスト記述を融合させることにより、識別可能なグローバル表現を構築しようとする。 モチベーションは2つある: 1) 現在のLVLM(Large Vision-Language Models)は、画像のテキスト記述を生成する際に、視覚的な指示に従う際、異常な創発的能力を示す。 有望ではあるが、マルチモーダルVPRソリューションの構築にLVLMを活用することは、効率的なマルチモーダル融合において困難である。
  論文  参考訳（メタデータ） (2024-07-09T10:15:31Z)
• Multi-modal Attribute Prompting for Vision-Language Models [40.39559705414497]
  VLM(Pre-trained Vision-Language Models)は、タスクをダウンストリームする強力な一般化能力を示すが、少数のシナリオでは苦労する。 既存のプロンプト技術は主にグローバルテキストと画像表現に重点を置いているが、マルチモーダル属性の特徴を見落としている。 テキスト属性プロンプト,視覚属性プロンプト,属性レベルのアライメントを共同で探索し,マルチモーダル属性プロンプト法(MAP)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T01:28:10Z)
• LOIS: Looking Out of Instance Semantics for Visual Question Answering [17.076621453814926]
  画像中のオブジェクトの意味論の因果関係を理解するために,ボックス境界のないモデルフレームワークを提案する。 我々は、インスタンスオブジェクトと背景情報の間のより洗練された、より深い視覚的意味関係をモデル化するための相互関係注意モジュールを実装した。 提案するアテンションモデルにより,重要な単語関連質問に焦点をあてることで,より健全な画像領域を解析することができる。
  論文  参考訳（メタデータ） (2023-07-26T12:13:00Z)
• Bear the Query in Mind: Visual Grounding with Query-conditioned Convolution [26.523051615516742]
  本稿では,クエリ情報を畳み込みカーネルの生成に組み込むことで,クエリ対応の視覚的特徴を抽出するクエリ条件付き畳み込みモジュール(QCM)を提案する。 提案手法は,3つの一般的な視覚的グラウンドデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-06-18T04:26:39Z)
• Good Visual Guidance Makes A Better Extractor: Hierarchical Visual Prefix for Multimodal Entity and Relation Extraction [88.6585431949086]
  本稿では,視覚的な実体と関係抽出のための階層型ビジュアルプレフィックス融合NeTwork(HVPNeT)を提案する。 視覚的表現をプラグ可能な視覚的接頭辞とみなして, 誤りに敏感な予測決定のためのテキスト的表現を導出する。 3つのベンチマークデータセットの実験により,本手法の有効性が実証され,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2022-05-07T02:10:55Z)
• MGA-VQA: Multi-Granularity Alignment for Visual Question Answering [75.55108621064726]
  視覚的な質問に答えることを学ぶことは、マルチモーダル入力が2つの特徴空間内にあるため、難しい作業である。 視覚質問応答タスク(MGA-VQA)のための多言語アライメントアーキテクチャを提案する。 我々のモデルはアライメントを異なるレベルに分割し、追加のデータやアノテーションを必要とせずにより良い相関関係を学習します。
  論文  参考訳（メタデータ） (2022-01-25T22:30:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。