論文の概要: Vision-and-Language or Vision-for-Language? On Cross-Modal Influence in Multimodal Transformers

• arxiv url: http://arxiv.org/abs/2109.04448v1
• Date: Thu, 9 Sep 2021 17:47:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-10 14:32:40.800617
• Title: Vision-and-Language or Vision-for-Language? On Cross-Modal Influence in Multimodal Transformers
• Title（参考訳）: ビジョン・アンド・ランゲージ? マルチモーダル変圧器のクロスモーダル影響について
• Authors: Stella Frank, Emanuele Bugliarello, Desmond Elliott
• Abstract要約: 事前訓練された視覚と言語 BERT は、両方のモダリティから情報を組み合わせた表現を学習することを目的としている。 本稿では,モーダル間入力アブレーションに基づく診断手法を提案し,それらのモデルが実際にモーダル間情報を統合する程度を評価する。
• 参考スコア（独自算出の注目度）: 15.826109118064716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained vision-and-language BERTs aim to learn representations that combine information from both modalities. We propose a diagnostic method based on cross-modal input ablation to assess the extent to which these models actually integrate cross-modal information. This method involves ablating inputs from one modality, either entirely or selectively based on cross-modal grounding alignments, and evaluating the model prediction performance on the other modality. Model performance is measured by modality-specific tasks that mirror the model pretraining objectives (e.g. masked language modelling for text). Models that have learned to construct cross-modal representations using both modalities are expected to perform worse when inputs are missing from a modality. We find that recently proposed models have much greater relative difficulty predicting text when visual information is ablated, compared to predicting visual object categories when text is ablated, indicating that these models are not symmetrically cross-modal.
• Abstract（参考訳）: 事前訓練された視覚と言語 BERT は、両方のモダリティから情報を組み合わせた表現を学習することを目的としている。 本稿では,これらのモデルが実際にクロスモーダル情報を統合する程度を評価するために,クロスモーダル入力アブレーションに基づく診断法を提案する。 この方法は、1つのモードから入力を全てまたは選択的にクロスモーダルなグラウンドアライメントに基づいて出力し、他のモードでモデル予測性能を評価する。 モデルパフォーマンスは、モデルの事前学習目標(例えば、)を反映するモダリティ固有のタスクによって測定される。 テキストのためのマスク付き言語モデリング) 両モダリティを用いたクロスモーダル表現の構築を学習したモデルは、モダリティから入力が欠落している場合にさらに悪化することが期待される。 その結果,最近提案されたモデルでは,視覚情報がアブレーションされた場合のテキストの予測が,テキストがアブレーションされた場合のビジュアルオブジェクトのカテゴリの予測に比べてはるかに困難であることが分かり,これらのモデルが対称的なクロスモーダルではないことが示された。

関連論文リスト

• Visual Contexts Clarify Ambiguous Expressions: A Benchmark Dataset [0.39462888523270856]
  VAGUEは3.9Kの間接的人間発話と対応するシーンを組み合わせたマルチモーダル・ベンチマークである。 我々の研究は、モデルが間接的なコミュニケーションを理解する能力について深く掘り下げ、より洗練され人間的な対話が可能なモデルの開発に貢献することを目的としています。
  論文  参考訳（メタデータ） (2024-11-21T14:01:42Z)
• Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
  テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。 まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。 これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
  論文  参考訳（メタデータ） (2024-10-26T12:00:33Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• Visual Explanations of Image-Text Representations via Multi-Modal Information Bottleneck Attribution [49.762034744605955]
  視覚言語モデルの解釈性を改善するために,マルチモーダル情報ボトルネック手法を提案する。 視覚言語事前学習モデルの帰属分析にM2IBを適用する方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T18:02:22Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• Cross-Modal Attribute Insertions for Assessing the Robustness of Vision-and-Language Learning [9.949354222717773]
  クロスモーダル属性挿入は、視覚・言語データに対する現実的な摂動戦略である。 モーダル・インサートを用いた入力テキストの増大は,テキスト・ツー・モーダル検索やモーダル・エンターメントにおける最先端のアプローチに悪影響を及ぼすことが判明した。 クラウドソースアノテーションは、クロスモーダルな挿入がマルチモーダルデータの品質向上につながることを示している。
  論文  参考訳（メタデータ） (2023-06-19T17:00:03Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Open-vocabulary Semantic Segmentation with Frozen Vision-Language Models [39.479912987123214]
  自己指導型学習は、幅広い視覚的・言語的理解タスクを解く顕著な能力を示した。 Fusionerは軽量なトランスフォーマーベースの融合モジュールで、凍結した視覚表現と言語概念をペアリングする。 提案手法は,任意の視覚モデルと言語モデル,あるいはユニモーダルデータのコーパス上で事前学習したモデルに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-27T02:57:26Z)
• Cross-View Language Modeling: Towards Unified Cross-Lingual Cross-Modal Pre-training [21.017471684853987]
  言語間およびモーダル間の事前学習を統一する,シンプルで効果的な事前学習フレームワークであるクロスビュー言語モデリングを導入する。 我々のアプローチは、言語横断とモーダル横断の事前学習が、同じオブジェクトの2つの異なるビューを共通の意味空間に整合させることで同じ目標を共有するという重要な観察によって動機付けられている。 CLMは、ゼロショットのクロスランガル転送により、代表的英語ビジョン言語モデルの翻訳テスト性能を上回る最初のマルチランガル・マルチモーダル事前訓練モデルである。
  論文  参考訳（メタデータ） (2022-06-01T16:45:24Z)
• Behind the Scene: Revealing the Secrets of Pre-trained Vision-and-Language Models [65.19308052012858]
  最近のTransformerベースの大規模事前学習モデルは、視覚言語(V+L)研究に革命をもたらした。 VALUEは,マルチモーダル事前学習における内部動作の解明を目的とした,精密に設計された探索タスクのセットである。 主要な観察:事前訓練されたモデルは、推論中の画像よりもテキストに出席する傾向を示す。
  論文  参考訳（メタデータ） (2020-05-15T01:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。