論文の概要: A Region-Prompted Adapter Tuning for Visual Abductive Reasoning
- arxiv url: http://arxiv.org/abs/2303.10428v3
- Date: Sun, 7 Jan 2024 05:06:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 00:11:40.804847
- Title: A Region-Prompted Adapter Tuning for Visual Abductive Reasoning
- Title(参考訳): 視覚的帰納的推論のための領域プロンプテッド・アダプタチューニング
- Authors: Hao Zhang, Yeo Keat Ee, Basura Fernando
- Abstract要約: 視覚的帰納的推論(Visual Abductive Reasoning)は、視覚的な入力から潜在的テキスト仮説を検索・生成する必要がある、新たな視覚言語(VL)トピックである。
RPA(Regional-Prompted Adapter)を提案する。
シャーロックの実験では、RPAが以前のSOTAよりも優れており、リーダーボードで1位に達した。
- 参考スコア(独自算出の注目度): 18.328707349353355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual Abductive Reasoning is an emerging vision-language (VL) topic where
the model needs to retrieve/generate a likely textual hypothesis from a visual
input (image or its part) using backward reasoning based on commonsense. Unlike
in conventional VL retrieval or captioning tasks, where entities of texts
appear in the image, in abductive inferences, the relevant facts about
inferences are not readily apparent in the input images. Besides, these
inferences are causally linked to specific regional visual cues and would
change as cues change. Existing works highlight cues utilizing a specific
prompt (e.g., colorful prompt). Then, a full fine-tuning of a VL foundation
model is launched to tweak its function from perception to deduction. However,
the colorful prompt uniformly patchify ``regional hints'' and ``global
context'' at the same granularity level and may lose fine-grained visual
details crucial for VAR. Meanwhile, full fine-tuning of VLF on limited data
would easily be overfitted.
To tackle this, we propose a simple yet effective Region-Prompted Adapter
(RPA), a hybrid parameter-efficient fine-tuning method that leverages the
strengths of detailed cues and efficient training for the VAR task.
RPA~consists of two novel modules: Regional Prompt Generator (RPG) and
Adapter$^\textbf{+}$. The prior encodes ``regional visual hints'' and ``global
contexts'' into visual prompts separately at fine and coarse-grained levels.
The latter extends the vanilla adapters with a new Map Adapter, which modifies
the attention map using a trainable low-dim query/key projection. Additionally,
we propose a new Dual-Contrastive Loss to regress the visual feature toward
features of factual description and plausible hypothesis. Experiments on the
Sherlock demonstrate that RPA outperforms previous SOTAs, achieving the 1st
rank on leaderboards (Comparison to Human Accuracy: RPA~31.74 vs CPT-CLIP
29.58).
- Abstract(参考訳): 視覚的帰納的推論(visual abductive reasoning)とは、視覚言語(vl)のトピックで、モデルでは、常識に基づいた後方的推論を用いて、視覚入力(画像またはその部分)から、おそらくテキスト仮説を検索/生成する必要がある。
従来のVL検索やキャプションタスクとは異なり、帰納的推論ではテキストの実体が画像に現れるが、入力画像には推論に関する関連事実が容易には現れない。
さらに、これらの推論は特定の地域視覚手がかりと因果関係にあり、手がかりが変化するにつれて変化する。
既存の作品では、特定のプロンプト(例えば、カラフルなプロンプト)を利用したヒントが強調されている。
次に、VLファンデーションモデルの完全な微調整を行い、その機能を知覚から推論へと微調整する。
しかし、カラフルなプロンプトは同じ粒度で ``regional hints'' と ``global context'' に一様にパッチを当て、var に不可欠な細かな視覚詳細を失う可能性がある。
一方、限られたデータに対するVLFの完全な微調整は、容易に過度に適合する。
そこで本研究では,より詳細なキューの強みを生かし,VARタスクを効率的に訓練するハイブリッドパラメータ効率の微調整手法である,シンプルで効果的なRegional-Prompted Adapter (RPA)を提案する。
RPA~2つの新しいモジュール: Regional Prompt Generator (RPG) と Adapter$^\textbf{+}$。
前者は `` Regional visual hints'' と ``global contexts'' を細粒度と粗粒度で別々にビジュアルプロンプトにエンコードする。
後者は新しいMap Adapterでバニラアダプタを拡張し、トレーニング可能なローディムクエリ/キープロジェクションを使用してアテンションマップを変更する。
さらに,視覚特徴を現実的記述の特徴や妥当な仮説に回帰させる新しい双対的損失を提案する。
シャーロックの実験では、RPAは以前のSOTAよりも優れており、リーダーボードで1位(RPA~31.74対CPT-CLIP 29.58)を達成した。
関連論文リスト
- Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition [72.35438297011176]
視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。
具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。
実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2024-02-22T12:55:01Z) - Interpretable Visual Question Answering via Reasoning Supervision [4.76359068115052]
トランスフォーマーベースのアーキテクチャは、最近Visual Question Answering (VQA)タスクで顕著なパフォーマンスを示している。
本稿では,視覚的質問応答のための新しいアーキテクチャを提案する。
提案手法がモデルの視覚知覚能力を向上し,性能向上につながることを定量的かつ定性的に示す。
論文 参考訳(メタデータ) (2023-09-07T14:12:31Z) - Linguistic More: Taking a Further Step toward Efficient and Accurate
Scene Text Recognition [92.6211155264297]
Scene Text Recognition (STR) タスクの単純さと効率性から,視覚モデルへの注目が高まっている。
最近の視覚モデルでは,(1)純粋な視覚に基づく問合せによって注意のドリフトが発生し,認識不良が生じ,言語的不感なドリフト(LID)問題として要約される。
我々は,正確なテキスト認識のための視覚モデルの言語的能力を検討するために,$textbfL$inguistic $textbfP$erception $textbfV$ision model (LPV)を提案する。
論文 参考訳(メタデータ) (2023-05-09T02:52:47Z) - Progressive Visual Prompt Learning with Contrastive Feature Re-formation [25.91769241929558]
本稿では,異なるレイヤのプロンプト間の相互作用を強化するために,プログレッシブ・ビジュアル・プロンプト(ProVP)構造を提案する。
我々のProVPは、画像の埋め込みを深い層に効果的に伝播させ、インスタンス適応的なプロンプトメソッドと部分的に似た振る舞いをすることができる。
我々の知る限り、我々はV-Lモデルにおける視覚的プロンプトの、下流タスクにおける従来のプロンプトベースの手法よりも優れた性能を示す最初の人物である。
論文 参考訳(メタデータ) (2023-04-17T15:54:10Z) - CAVL: Learning Contrastive and Adaptive Representations of Vision and
Language [10.57079240576682]
視覚的および言語的事前学習は、視覚と言語表現を一緒に学習することを目的としている。
現在の事前訓練されたモデルでは、下流のタスクに転送する際、微調整のために多くの計算資源を必要とする傾向にある。
我々は、視覚と言語、すなわちCAVLのコントラスト表現と適応表現の学習に、シンプルだが効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-04-10T05:54:03Z) - Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。
本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
論文 参考訳(メタデータ) (2023-03-03T18:59:47Z) - Dual Modality Prompt Tuning for Vision-Language Pre-Trained Model [39.722927180264584]
本稿では、テキストと視覚的プロンプトを同時に学習することで、新しいDual-modality Prompt Tuning(DPT)パラダイムを提案する。
最終的な画像特徴をよりターゲットの視覚概念に集中させるため,クラス認識型ビジュアルプロンプトチューニング方式を提案する。
論文 参考訳(メタデータ) (2022-08-17T15:06:36Z) - CLIP-Adapter: Better Vision-Language Models with Feature Adapters [79.52844563138493]
即時チューニング以外に、より良い視覚言語モデルを実現するための代替経路があることが示される。
本稿では,CLIP-Adapterを提案する。
様々な視覚的分類タスクの実験および広範囲なアブレーション研究は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2021-10-09T11:39:30Z) - Visually Grounded Compound PCFGs [65.04669567781634]
言語理解のための視覚的基盤の爆発は、最近多くの注目を集めている。
本研究では,視覚的な文法誘導について検討し,未ラベルテキストとその視覚的キャプションから選挙区を学習する。
論文 参考訳(メタデータ) (2020-09-25T19:07:00Z) - ContourNet: Taking a Further Step toward Accurate Arbitrary-shaped Scene
Text Detection [147.10751375922035]
本研究では,シーンテキストの偽陽性と大規模分散を効果的に処理するContourNetを提案する。
本手法は,両方向の応答値の高い予測を出力するだけで,これらの偽陽性を効果的に抑制する。
論文 参考訳(メタデータ) (2020-04-10T08:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。