論文の概要: Do Vision-Language Transformers Exhibit Visual Commonsense? An Empirical Study of VCR

• arxiv url: http://arxiv.org/abs/2405.16934v1
• Date: Mon, 27 May 2024 08:26:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 16:21:29.727520
• Title: Do Vision-Language Transformers Exhibit Visual Commonsense? An Empirical Study of VCR
• Title（参考訳）: ヴィジュアル・ランゲージ・トランスフォーマーはヴィジュアル・コモンセンスを排除しているか? : VCRの実証研究
• Authors: Zhenyang Li, Yangyang Guo, Kejie Wang, Xiaolin Chen, Liqiang Nie, Mohan Kankanhalli,
• Abstract要約: Visual Commonsense Reasoning (VCR)は、視覚的なシーンに対する質問応答の背後にある説明的推論を要求する。 ベンチマークデータセットの進歩は、Vision-Language Transformers(VL Transformers)の最近の進歩に大きく起因している。 本稿では、VLトランスフォーマーは、VCRの鍵となる視覚的コモンセンスを示さないことを仮定する。
• 参考スコア（独自算出の注目度）: 51.72751335574947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual Commonsense Reasoning (VCR) calls for explanatory reasoning behind question answering over visual scenes. To achieve this goal, a model is required to provide an acceptable rationale as the reason for the predicted answers. Progress on the benchmark dataset stems largely from the recent advancement of Vision-Language Transformers (VL Transformers). These models are first pre-trained on some generic large-scale vision-text datasets, and then the learned representations are transferred to the downstream VCR task. Despite their attractive performance, this paper posits that the VL Transformers do not exhibit visual commonsense, which is the key to VCR. In particular, our empirical results pinpoint several shortcomings of existing VL Transformers: small gains from pre-training, unexpected language bias, limited model architecture for the two inseparable sub-tasks, and neglect of the important object-tag correlation. With these findings, we tentatively suggest some future directions from the aspect of dataset, evaluation metric, and training tricks. We believe this work could make researchers revisit the intuition and goals of VCR, and thus help tackle the remaining challenges in visual reasoning.
• Abstract（参考訳）: Visual Commonsense Reasoning (VCR)は、視覚的なシーンに対する質問応答の背後にある説明的推論を要求する。 この目標を達成するためには、予測された答えの理由として許容できる合理的な根拠を提供する必要がある。 ベンチマークデータセットの進歩は、Vision-Language Transformers (VL Transformers)の最近の進歩に大きく影響している。 これらのモデルは、まずいくつかの一般的な大規模視覚テキストデータセット上で事前訓練され、その後、学習された表現は下流のVCRタスクに転送される。 魅力的な性能にもかかわらず、本論文はVLトランスフォーマーが視覚的コモンセンスを示さないことを示唆し、これがVCRの鍵となる。 具体的には、既存のVLトランスフォーマーの欠点をいくつか挙げる:事前学習、予期せぬ言語バイアス、二つの分離不能なサブタスクの限定モデルアーキテクチャ、重要なオブジェクトタグ相関の無視。 これらの結果から,データセット,評価指標,トレーニングトリックといった側面から,今後の方向性を仮に提案する。 この研究は、研究者がVCRの直感と目標を再考し、視覚的推論における残りの課題に取り組むのに役立つと信じています。

関連論文リスト

• Tackling the Abstraction and Reasoning Corpus with Vision Transformers: the Importance of 2D Representation, Positions, and Objects [31.926206783846144]
  視覚変換器(ViT)は、タスク毎に100万のサンプルをトレーニングしても、ほとんどのARCタスクで劇的に失敗することを示す。 ARCに必要な視覚的推論能力のいくつかを解放する,ViTARC スタイルのアーキテクチャを提案する。 タスク固有のViTARCモデルは、400のパブリックARCタスクの半数以上において、100%に近い確率で解決できる。
  論文  参考訳（メタデータ） (2024-10-08T22:25:34Z)
• Denoising Vision Transformers [43.03068202384091]
  本稿では、DVT(Denoising Vision Transformers)と呼ばれる2段階のDenoisingアプローチを提案する。 第1段階では、画像ごとのニューラルネットワークとの横断的な特徴整合を強制することにより、位置的アーティファクトによって汚染されたものからクリーンな特徴を分離する。 第2段階では、クリーンな特徴を生のViT出力から予測するために軽量なトランスフォーマーブロックを訓練し、クリーンな特徴の導出推定を監督として活用する。
  論文  参考訳（メタデータ） (2024-01-05T18:59:52Z)
• Visual Reasoning: from State to Transformation [80.32402545546209]
  既存の視覚的推論タスクは重要な要素、すなわち変換を無視している。 本稿では,新しいテキスト変換駆動型視覚推論(TVR)タスクを提案する。 現状のビジュアル推論モデルは,Basic上では良好に機能するが,イベント,ビュー,TRANCOにおける人間レベルのインテリジェンスには程遠いことを示す。
  論文  参考訳（メタデータ） (2023-05-02T14:24:12Z)
• VL-InterpreT: An Interactive Visualization Tool for Interpreting Vision-Language Transformers [47.581265194864585]
  視覚とマルチモーダル変換器の内部機構はほとんど不透明である。 これらの変圧器の成功により、その内部動作を理解することがますます重要になっている。 マルチモーダルトランスにおける注目や隠された表現を解釈するための対話型可視化を提供するVL-InterpreTを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:25:35Z)
• An Empirical Study of Training End-to-End Vision-and-Language Transformers [50.23532518166621]
  我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。 具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
  論文  参考訳（メタデータ） (2021-11-03T17:55:36Z)
• Visual Relationship Forecasting in Videos [56.122037294234865]
  本稿では,視覚関係予測(Visual Relation Forecasting:VRF)というタスクをビデオに提示する。 Hフレームと対象オブジェクトのペアを与えられたVRFは、視覚的な証拠なしに次のTフレームに対する将来の相互作用を予測することを目的としている。 VRFタスクを評価するために,VRF-AGとVRF-VidORという2つのビデオデータセットを導入する。
  論文  参考訳（メタデータ） (2021-07-02T16:43:19Z)
• Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
  我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。 そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。 提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
  論文  参考訳（メタデータ） (2021-03-30T16:19:27Z)
• Transformers in Vision: A Survey [101.07348618962111]
  トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。 変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。 本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2021-01-04T18:57:24Z)
• Toward Transformer-Based Object Detection [12.704056181392415]
  ビジョントランスフォーマーは、共通の検出タスクヘッドによってバックボーンとして使用することができ、競合するCOCO結果を生成する。 vit-frcnnは、大きな事前訓練能力と高速微調整性能を含むトランスフォーマーに関連するいくつかの既知の特性を示す。 ViT-FRCNNは、オブジェクト検出などの複雑な視覚タスクの純粋なトランスフォーマーソリューションへの重要なステップストーンであると考えています。
  論文  参考訳（メタデータ） (2020-12-17T22:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。