論文の概要: Dissecting Multimodality in VideoQA Transformer Models by Impairing Modality Fusion

• arxiv url: http://arxiv.org/abs/2306.08889v3
• Date: Fri, 7 Jun 2024 05:45:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 21:06:02.274428
• Title: Dissecting Multimodality in VideoQA Transformer Models by Impairing Modality Fusion
• Title（参考訳）: モダリティ融合を損なうビデオQA変換器モデルにおける多重モードの分離
• Authors: Ishaan Singh Rawal, Alexander Matyasko, Shantanu Jaiswal, Basura Fernando, Cheston Tan,
• Abstract要約: VideoQA Transformerモデルは標準ベンチマークで競合性能を示す。 これらのモデルはビデオとテキストからリッチなマルチモーダル構造とダイナミックスを一緒に捉えていますか? 彼らはバイアスと刺激的な特徴を利用して高いスコアを達成していますか?
• 参考スコア（独自算出の注目度）: 54.33764537135906
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While VideoQA Transformer models demonstrate competitive performance on standard benchmarks, the reasons behind their success are not fully understood. Do these models capture the rich multimodal structures and dynamics from video and text jointly? Or are they achieving high scores by exploiting biases and spurious features? Hence, to provide insights, we design $\textit{QUAG}$ (QUadrant AveraGe), a lightweight and non-parametric probe, to conduct dataset-model combined representation analysis by impairing modality fusion. We find that the models achieve high performance on many datasets without leveraging multimodal representations. To validate QUAG further, we design $\textit{QUAG-attention}$, a less-expressive replacement of self-attention with restricted token interactions. Models with QUAG-attention achieve similar performance with significantly fewer multiplication operations without any finetuning. Our findings raise doubts about the current models' abilities to learn highly-coupled multimodal representations. Hence, we design the $\textit{CLAVI}$ (Complements in LAnguage and VIdeo) dataset, a stress-test dataset curated by augmenting real-world videos to have high modality coupling. Consistent with the findings of QUAG, we find that most of the models achieve near-trivial performance on CLAVI. This reasserts the limitations of current models for learning highly-coupled multimodal representations, that is not evaluated by the current datasets (project page: https://dissect-videoqa.github.io ).
• Abstract（参考訳）: VideoQA Transformerモデルは、標準ベンチマーク上での競合性能を示すが、その成功の背景にある理由は、完全には理解されていない。 これらのモデルはビデオとテキストからリッチなマルチモーダル構造とダイナミックスを一緒に捉えていますか? あるいは、バイアスや刺激的な機能を利用して高いスコアを達成できるのでしょうか? そこで我々は, 軽量かつ非パラメトリックなプローブである $\textit{QUAG}$ (QUadrant AveraGe) を設計し, モダリティ融合を損なうことなく, データセットとモデルを組み合わせた表現解析を行う。 モデルはマルチモーダル表現を活用することなく,多くのデータセット上で高い性能を実現する。 QUIGをさらに検証するために、制限されたトークン相互作用による自己アテンションの非表現的な置き換えである$\textit{QUAG-attention}$を設計する。 quaGアテンションを持つモデルは、微調整なしでの乗算演算を著しく少なくして、同様の性能を達成する。 本研究は,従来のモデルが高度に結合されたマルチモーダル表現を学習する能力に疑問を呈するものである。 そこで我々は,実世界の動画を増大させて高モダリティ結合を図ったストレステストデータセットである$\textit{CLAVI}$ (Complements in LAnguage and VIdeo) を設計した。 QUIGの結果と一致して,ほとんどのモデルがCLAVI上でほぼ自明な性能を達成していることがわかった。 これは、現在のデータセット(プロジェクトページ:https://dissect-videoqa.github.io )で評価されない、高度に結合されたマルチモーダル表現を学ぶための現在のモデルの制限を再主張する。

関連論文リスト

• Data-Juicer Sandbox: A Comprehensive Suite for Multimodal Data-Model Co-development [67.55944651679864]
  統合データモデル共同開発に適した新しいサンドボックススイートを提案する。 このサンドボックスは包括的な実験プラットフォームを提供し、データとモデルの両方の迅速なイテレーションと洞察駆動による改善を可能にする。 また、徹底的なベンチマークから得られた実りある洞察を明らかにし、データ品質、多様性、モデル行動の間の重要な相互作用に光を当てています。
  論文  参考訳（メタデータ） (2024-07-16T14:40:07Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
  UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。 本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。 統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
  論文  参考訳（メタデータ） (2023-07-30T09:48:36Z)
• Multimodal Distillation for Egocentric Action Recognition [41.821485757189656]
  エゴセントリックなビデオ理解は、手動物体の相互作用をモデル化する。 CNNやVision Transformersなどの標準モデルは、入力としてRGBフレームを受信する。 しかし、それらの性能は補足的手がかりを提供する追加の入力モダリティを利用することによりさらに向上する。 この研究の目的は、RGBフレームのみを推論時に入力として使用しながら、そのようなマルチモーダルアプローチの性能を維持することである。
  論文  参考訳（メタデータ） (2023-07-14T17:07:32Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
  機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。 複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。 我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-30T22:44:12Z)
• Does my multimodal model learn cross-modal interactions? It's harder to tell than you might think! [26.215781778606168]
  クロスモーダルモデリングは、視覚的質問応答のようなマルチモーダルタスクにおいて不可欠である。 本稿では,与えられたタスク上でのモデル間の相互作用によって性能が向上するか否かを分離する,新たな診断ツールである経験的多モード付加関数投影(EMAP)を提案する。 7つの画像+テキスト分類タスク(それぞれに新しい最先端のベンチマークを設定した)に対して、多くの場合、モーダル間相互作用を削除することは、パフォーマンスの劣化をほとんど、あるいは全く起こさない。
  論文  参考訳（メタデータ） (2020-10-13T17:45:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。