論文の概要: Multimodal Fusion Interactions: A Study of Human and Automatic Quantification

• arxiv url: http://arxiv.org/abs/2306.04125v1
• Date: Wed, 7 Jun 2023 03:44:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 16:16:35.450282
• Title: Multimodal Fusion Interactions: A Study of Human and Automatic Quantification
• Title（参考訳）: マルチモーダル核融合相互作用:人間と自動定量化の研究
• Authors: Paul Pu Liang, Yun Cheng, Ruslan Salakhutdinov, Louis-Philippe Morency
• Abstract要約: マルチモーダル相互作用の2つの分類をアノテートするために、人間のアノテータをどのように活用できるかを示す。 本稿では,部分的および対実的ラベルのアノテーションを情報分解に自動的に変換する手法を提案する。
• 参考スコア（独自算出の注目度）: 128.59151550085275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal fusion of multiple heterogeneous and interconnected signals is a fundamental challenge in almost all multimodal problems and applications. In order to perform multimodal fusion, we need to understand the types of interactions that modalities can exhibit: how each modality individually provides information useful for a task and how this information changes in the presence of other modalities. In this paper, we perform a comparative study of how human annotators can be leveraged to annotate two categorizations of multimodal interactions: (1) partial labels, where different randomly assigned annotators annotate the label given the first, second, and both modalities, and (2) counterfactual labels, where the same annotator is tasked to annotate the label given the first modality before giving them the second modality and asking them to explicitly reason about how their answer changes, before proposing an alternative taxonomy based on (3) information decomposition, where annotators annotate the degrees of redundancy: the extent to which modalities individually and together give the same predictions on the task, uniqueness: the extent to which one modality enables a task prediction that the other does not, and synergy: the extent to which only both modalities enable one to make a prediction about the task that one would not otherwise make using either modality individually. Through extensive experiments and annotations, we highlight several opportunities and limitations of each approach and propose a method to automatically convert annotations of partial and counterfactual labels to information decomposition, yielding an accurate and efficient method for quantifying interactions in multimodal datasets.
• Abstract（参考訳）: 多重異種信号と相互接続信号のマルチモーダル融合は、ほとんど全てのマルチモーダル問題や応用において根本的な課題である。 マルチモーダル融合を行うには、モダリティが提示できる相互作用の種類を理解する必要がある: それぞれのモダリティがタスクにどのように役立つ情報を提供するか、そして、その情報が他のモダリティの存在下でどのように変化するか。 In this paper, we perform a comparative study of how human annotators can be leveraged to annotate two categorizations of multimodal interactions: (1) partial labels, where different randomly assigned annotators annotate the label given the first, second, and both modalities, and (2) counterfactual labels, where the same annotator is tasked to annotate the label given the first modality before giving them the second modality and asking them to explicitly reason about how their answer changes, before proposing an alternative taxonomy based on (3) information decomposition, where annotators annotate the degrees of redundancy: the extent to which modalities individually and together give the same predictions on the task, uniqueness: the extent to which one modality enables a task prediction that the other does not, and synergy: the extent to which only both modalities enable one to make a prediction about the task that one would not otherwise make using either modality individually. 広範な実験とアノテーションを通じて,各アプローチの機会と限界を強調し,部分ラベルと反事実ラベルのアノテーションを情報分解に自動変換する手法を提案し,マルチモーダルデータセットにおけるインタラクションを高精度かつ効率的に定量化する手法を提案する。

関連論文リスト

• Pseudo-Label Calibration Semi-supervised Multi-Modal Entity Alignment [7.147651976133246]
  マルチモーダル・エンティティ・アライメント(MMEA)は、統合のための2つのマルチモーダル・ナレッジ・グラフ間で等価なエンティティを識別することを目的としている。 Pseudo-label Multimodal Entity Alignment (PCMEA) を半教師付き方式で導入する。 モーメントに基づくコントラスト学習とラベル付きデータとラベルなしデータの完全活用を組み合わせることで、擬似ラベルの品質を向上し、アライメントされたエンティティを近づける。
  論文  参考訳（メタデータ） (2024-03-02T12:44:59Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Multi-modal Differentiable Unsupervised Feature Selection [5.314466196448187]
  マルチモーダル測定では、両方のモダリティにおける多くの観察された変数は、しばしばニュアンスであり、興味のある現象に関する情報を持っていない。 本稿では,複合高次元計測に基づいて情報変数を同定するマルチモーダルな非教師付き特徴選択フレームワークを提案する。 グラフラプラシアンによって取得された構造の特徴を隠蔽し、精度を高めるため、異なるゲートでスコアを組み込む。
  論文  参考訳（メタデータ） (2023-03-16T15:11:17Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning [112.51498431119616]
  本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。 単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
  論文  参考訳（メタデータ） (2022-03-02T18:56:20Z)
• Single versus Multiple Annotation for Named Entity Recognition of Mutations [4.213427823201119]
  我々は,複数のアノテータが必要かどうかを測定するために,1つのアノテータ対2のアノテータによる影響について論じる。 単一アノテータを使用する場合のパフォーマンス損失を評価すると、第2のアノテーションのためにトレーニングデータをサンプルするために異なる方法を適用する。 保持されたダブルアノテートデータを使用して、異なるタイプのランキングを持つ2つのシナリオを構築します。 i)誤ったトレーニングインスタンスを識別する能力、(ii)最先端技術におけるミューテーションNERのパフォーマンスについて、両方のアプローチを評価する。
  論文  参考訳（メタデータ） (2021-01-19T03:54:17Z)
• Interactive Fusion of Multi-level Features for Compositional Activity Recognition [100.75045558068874]
  インタラクティブな融合によってこの目標を達成する新しいフレームワークを提案する。 本フレームワークは,位置から出現までの特徴抽出,意味的特徴の相互作用,意味から位置への予測という3つのステップで実装する。 我々は,2つの行動認識データセット,SomethingとCharadesに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2020-12-10T14:17:18Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。