論文の概要: Interpretable Tensor Fusion

• arxiv url: http://arxiv.org/abs/2405.04671v1
• Date: Tue, 7 May 2024 21:05:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 18:41:08.887018
• Title: Interpretable Tensor Fusion
• Title（参考訳）: 解釈型テンソルフュージョン
• Authors: Saurabh Varshneya, Antoine Ledent, Philipp Liznerski, Andriy Balinskyy, Purvanshi Mehta, Waleed Mustafa, Marius Kloft,
• Abstract要約: InTense(Interpretable tensor fusion)は,マルチモーダルデータ表現を同時に学習するためのニューラルネットワークのトレーニング手法である。 InTenseは、関連スコアをモダリティとその関連に割り当てることで、ボックスから解釈可能性を提供する。 6つの実世界のデータセットの実験により、InTenseは精度と解釈可能性の観点から、既存の最先端のマルチモーダル解釈アプローチより優れていることが示された。
• 参考スコア（独自算出の注目度）: 26.314148163750257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional machine learning methods are predominantly designed to predict outcomes based on a single data type. However, practical applications may encompass data of diverse types, such as text, images, and audio. We introduce interpretable tensor fusion (InTense), a multimodal learning method for training neural networks to simultaneously learn multimodal data representations and their interpretable fusion. InTense can separately capture both linear combinations and multiplicative interactions of diverse data types, thereby disentangling higher-order interactions from the individual effects of each modality. InTense provides interpretability out of the box by assigning relevance scores to modalities and their associations. The approach is theoretically grounded and yields meaningful relevance scores on multiple synthetic and real-world datasets. Experiments on six real-world datasets show that InTense outperforms existing state-of-the-art multimodal interpretable approaches in terms of accuracy and interpretability.
• Abstract（参考訳）: 従来の機械学習手法は、主に単一のデータ型に基づいて結果を予測するように設計されている。 しかし、実際的な応用は、テキスト、画像、オーディオなどの様々なタイプのデータを含む可能性がある。 InTense(Interpretable tensor fusion)は、ニューラルネットワークがマルチモーダルデータ表現とその解釈可能な融合を同時に学習するためのマルチモーダル学習法である。 InTenseは、様々なデータ型の線形結合と乗法的相互作用の両方を別々に捉え、それによって各モードの個々の効果から高次相互作用を分離することができる。 InTenseは、関連スコアをモダリティとその関連に割り当てることで、ボックスから解釈可能性を提供する。 この手法は理論的に基礎を置いており、複数の合成および実世界のデータセットに有意義な関連性スコアを与える。 6つの実世界のデータセットの実験により、InTenseは精度と解釈可能性の観点から、既存の最先端のマルチモーダル解釈アプローチより優れていることが示された。

関連論文リスト

• MMBind: Unleashing the Potential of Distributed and Heterogeneous Data for Multimodal Learning in IoT [11.884646027921173]
  分散および異種IoTデータのマルチモーダル学習のための新しいフレームワークであるMBindを提案する。 同様の事象を観測する異なるモードのデータを、異なる時間や場所で捉えたとしても、マルチモーダルトレーニングに効果的に利用できることを示す。
  論文  参考訳（メタデータ） (2024-11-18T23:34:07Z)
• Flexible inference in heterogeneous and attributed multilayer networks [21.349513661012498]
  我々は任意の種類の情報を持つ多層ネットワークで推論を行う確率的生成モデルを開発した。 インド農村部における社会支援ネットワークにおける様々なパターンを明らかにする能力を示す。
  論文  参考訳（メタデータ） (2024-05-31T15:21:59Z)
• What is different between these datasets? [23.271594219577185]
  同じドメイン内の2つの同等のデータセットは、異なる分布を持つ可能性がある。 本稿では,2つのデータセットを比較するための解釈可能な手法(ツールボックス)を提案する。 我々の手法は、説明品質と正確性の観点から比較および関連するアプローチよりも優れているだけでなく、データセットの違いを効果的に理解し軽減するための実用的な補完的な洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-08T19:52:39Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Enhancing ensemble learning and transfer learning in multimodal data analysis by adaptive dimensionality reduction [10.646114896709717]
  マルチモーダルデータ分析では、すべての観測が同じレベルの信頼性や情報品質を示すわけではない。 この問題を克服するために,次元削減のための適応的アプローチを提案する。 多様な研究分野で得られたマルチモーダルデータセットのアプローチをテストします。
  論文  参考訳（メタデータ） (2021-05-08T11:53:12Z)
• Multimodal Clustering Networks for Self-supervised Learning from Unlabeled Videos [69.61522804742427]
  本稿では,共通のマルチモーダル埋め込み空間を学習する自己監督型トレーニングフレームワークを提案する。 インスタンスレベルのコントラスト学習の概念をマルチモーダルクラスタリングステップで拡張し,モダリティ間の意味的類似性を捉える。 結果として得られる埋め込みスペースは、見えないデータセットや異なるドメインからでも、すべてのモダリティにわたるサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2021-04-26T15:55:01Z)
• Multimodal Routing: Improving Local and Global Interpretability of Multimodal Language Analysis [103.69656907534456]
  人間中心のタスクに強いパフォーマンスを持つ最近のマルチモーダル学習は、しばしばブラックボックスである。 本稿では,各入力サンプルに対して,入力モダリティと出力表現の重み付けを異なる方法で調整するマルチモーダルルーティングを提案する。
  論文  参考訳（メタデータ） (2020-04-29T13:42:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。