論文の概要: A Region-Prompted Adapter Tuning for Visual Abductive Reasoning

• arxiv url: http://arxiv.org/abs/2303.10428v3
• Date: Sun, 7 Jan 2024 05:06:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 00:11:40.804847
• Title: A Region-Prompted Adapter Tuning for Visual Abductive Reasoning
• Title（参考訳）: 視覚的帰納的推論のための領域プロンプテッド・アダプタチューニング
• Authors: Hao Zhang, Yeo Keat Ee, Basura Fernando
• Abstract要約: 視覚的帰納的推論(Visual Abductive Reasoning)は、視覚的な入力から潜在的テキスト仮説を検索・生成する必要がある、新たな視覚言語(VL)トピックである。 RPA(Regional-Prompted Adapter)を提案する。 シャーロックの実験では、RPAが以前のSOTAよりも優れており、リーダーボードで1位に達した。
• 参考スコア（独自算出の注目度）: 18.328707349353355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual Abductive Reasoning is an emerging vision-language (VL) topic where the model needs to retrieve/generate a likely textual hypothesis from a visual input (image or its part) using backward reasoning based on commonsense. Unlike in conventional VL retrieval or captioning tasks, where entities of texts appear in the image, in abductive inferences, the relevant facts about inferences are not readily apparent in the input images. Besides, these inferences are causally linked to specific regional visual cues and would change as cues change. Existing works highlight cues utilizing a specific prompt (e.g., colorful prompt). Then, a full fine-tuning of a VL foundation model is launched to tweak its function from perception to deduction. However, the colorful prompt uniformly patchify ``regional hints'' and ``global context'' at the same granularity level and may lose fine-grained visual details crucial for VAR. Meanwhile, full fine-tuning of VLF on limited data would easily be overfitted. To tackle this, we propose a simple yet effective Region-Prompted Adapter (RPA), a hybrid parameter-efficient fine-tuning method that leverages the strengths of detailed cues and efficient training for the VAR task. RPA~consists of two novel modules: Regional Prompt Generator (RPG) and Adapter$^\textbf{+}$. The prior encodes ``regional visual hints'' and ``global contexts'' into visual prompts separately at fine and coarse-grained levels. The latter extends the vanilla adapters with a new Map Adapter, which modifies the attention map using a trainable low-dim query/key projection. Additionally, we propose a new Dual-Contrastive Loss to regress the visual feature toward features of factual description and plausible hypothesis. Experiments on the Sherlock demonstrate that RPA outperforms previous SOTAs, achieving the 1st rank on leaderboards (Comparison to Human Accuracy: RPA~31.74 vs CPT-CLIP 29.58).
• Abstract（参考訳）: 視覚的帰納的推論(visual abductive reasoning)とは、視覚言語(vl)のトピックで、モデルでは、常識に基づいた後方的推論を用いて、視覚入力(画像またはその部分)から、おそらくテキスト仮説を検索/生成する必要がある。 従来のVL検索やキャプションタスクとは異なり、帰納的推論ではテキストの実体が画像に現れるが、入力画像には推論に関する関連事実が容易には現れない。 さらに、これらの推論は特定の地域視覚手がかりと因果関係にあり、手がかりが変化するにつれて変化する。 既存の作品では、特定のプロンプト(例えば、カラフルなプロンプト)を利用したヒントが強調されている。 次に、VLファンデーションモデルの完全な微調整を行い、その機能を知覚から推論へと微調整する。 しかし、カラフルなプロンプトは同じ粒度で ``regional hints'' と ``global context'' に一様にパッチを当て、var に不可欠な細かな視覚詳細を失う可能性がある。 一方、限られたデータに対するVLFの完全な微調整は、容易に過度に適合する。 そこで本研究では,より詳細なキューの強みを生かし,VARタスクを効率的に訓練するハイブリッドパラメータ効率の微調整手法である,シンプルで効果的なRegional-Prompted Adapter (RPA)を提案する。 RPA~2つの新しいモジュール: Regional Prompt Generator (RPG) と Adapter$^\textbf{+}$。 前者は `` Regional visual hints'' と ``global contexts'' を細粒度と粗粒度で別々にビジュアルプロンプトにエンコードする。 後者は新しいMap Adapterでバニラアダプタを拡張し、トレーニング可能なローディムクエリ/キープロジェクションを使用してアテンションマップを変更する。 さらに,視覚特徴を現実的記述の特徴や妥当な仮説に回帰させる新しい双対的損失を提案する。 シャーロックの実験では、RPAは以前のSOTAよりも優れており、リーダーボードで1位(RPA~31.74対CPT-CLIP 29.58)を達成した。

関連論文リスト

• Fine-Tuning CLIP's Last Visual Projector: A Few-Shot Cornucopia [45.93202559299953]
  本稿では、最適化に「外部」パラメータを追加することなく、CLIP適応のための代替手法を提案する。 視覚の最後のプロジェクション行列を微調整するだけで、既存のベースラインと比較して高い性能が得られることが分かりました。 おそらく驚くべきことに、このアプローチはProLIPと呼ばれ、11のスクリーンショット分類ベンチマークの最先端よりも同等かそれ以上のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2024-10-07T17:59:59Z)
• Learning Object-Centric Representation via Reverse Hierarchy Guidance [73.05170419085796]
  OCL(Object-Centric Learning)は、ニューラルネットワークが視覚的なシーンで個々のオブジェクトを識別できるようにする。 RHGNetは、トレーニングと推論プロセスにおいて、さまざまな方法で機能するトップダウンパスを導入している。 我々のモデルは、よく使われる複数のデータセット上でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2024-05-17T07:48:27Z)
• Bootstrap Fine-Grained Vision-Language Alignment for Unified Zero-Shot Anomaly Localization [63.61093388441298]
  対照的な言語-画像事前学習モデルは、ゼロショット視覚認識タスクで有望なパフォーマンスを示した。 本研究では,ゼロショット異常局所化のためのAnoCLIPを提案する。
  論文  参考訳（メタデータ） (2023-08-30T10:35:36Z)
• A Closer Look at the Explainability of Contrastive Language-Image Pre-training [16.10032166963232]
  Contrastive Language-image Pre-training (CLIP)は、様々なタスクに対して大きなメリットを示す強力なビジョン言語モデルである。 我々は,その信頼性を損なうような説明可能性の問題と,関連するタスクのキャパシティの制限を指摘した。 本稿では,CLIP surgery for reliable CAMを提案する。
  論文  参考訳（メタデータ） (2023-04-12T07:16:55Z)
• HOICLIP: Efficient Knowledge Transfer for HOI Detection with Vision-Language Models [30.279621764192843]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人-物体のペアを局所化し、その相互作用を認識することを目的としている。 対照的な言語-画像事前学習(CLIP)は、HOI検出器に先立って相互作用を提供する大きな可能性を示している。 本稿では,CLIPから事前知識を効率的に抽出し,より優れた一般化を実現する新しいHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-28T07:54:54Z)
• No Token Left Behind: Explainability-Aided Image Classification and Generation [79.4957965474334]
  ここでは、CLIPが入力のすべての関連する意味的部分に焦点を当てることを保証するために、損失項を追加する新しい説明可能性に基づくアプローチを提案する。 本手法は, 追加訓練や微調整を伴わずに, 認識率の向上を図っている。
  論文  参考訳（メタデータ） (2022-04-11T07:16:39Z)
• The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
  連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。 本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。 単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
  論文  参考訳（メタデータ） (2022-01-17T09:09:09Z)
• PointCLIP: Point Cloud Understanding by CLIP [77.02399444893963]
  本稿では,CLIP符号化点クラウドと3Dカテゴリテキストのアライメントを行うPointCLIPを提案する。 PointCLIPは、リソースコストとデータレシエーションの低いCLIPによる効果的な3Dポイントクラウド理解のための、有望な代替手段である。
  論文  参考訳（メタデータ） (2021-12-04T19:42:40Z)
• Keep CALM and Improve Visual Feature Attribution [42.784665606132]
  クラスアクティベーションマッピング(クラスアクティベーションマッピング、CAM)は、複数の視覚タスクのための特徴属性法の基礎となっている。 定式化における認識のためのキューの位置を符号化する潜在変数を明示的に組み込むことにより、CAMを改善する。 結果のモデルであるクラスアクティベーション潜在マッピング(CALM)は、期待最大化アルゴリズムを用いて訓練される。
  論文  参考訳（メタデータ） (2021-06-15T03:33:25Z)
• Weakly Supervised Attention Pyramid Convolutional Neural Network for Fine-Grained Visual Classification [71.96618723152487]
  注意ピラミッド畳み込みニューラルネットワーク(AP-CNN)について紹介する。 AP-CNNは高レベルのセマンティックと低レベルの詳細な特徴表現の両方を学ぶ。 追加のバウンディングボックス/パートアノテーションを必要とせずに、エンドツーエンドでトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-02-09T12:33:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。