論文の概要: Enhancing Multi-modal Cooperation via Fine-grained Modality Valuation

• arxiv url: http://arxiv.org/abs/2309.06255v1
• Date: Tue, 12 Sep 2023 14:16:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 12:40:27.838304
• Title: Enhancing Multi-modal Cooperation via Fine-grained Modality Valuation
• Title（参考訳）: 微細なモダリティ評価によるマルチモーダル協調の促進
• Authors: Yake Wei, Ruoxuan Feng, Zihe Wang, Di Hu
• Abstract要約: サンプルレベルで各モードの寄与を評価するために, 微粒なモーダリティ評価指標を導入する。 我々は、この問題を分析し、低貢献率の差別能力を高めることにより、モダリティ間の協調を改善する。
• 参考スコア（独自算出の注目度）: 11.664945091814904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One primary topic of multi-modal learning is to jointly incorporate heterogeneous information from different modalities. However, most models often suffer from unsatisfactory multi-modal cooperation, which could not jointly utilize all modalities well. Some methods are proposed to identify and enhance the worse learnt modality, but are often hard to provide the fine-grained observation of multi-modal cooperation at sample-level with theoretical support. Hence, it is essential to reasonably observe and improve the fine-grained cooperation between modalities, especially when facing realistic scenarios where the modality discrepancy could vary across different samples. To this end, we introduce a fine-grained modality valuation metric to evaluate the contribution of each modality at sample-level. Via modality valuation, we regretfully observe that the multi-modal model tends to rely on one specific modality, resulting in other modalities being low-contributing. We further analyze this issue and improve cooperation between modalities by enhancing the discriminative ability of low-contributing modalities in a targeted manner. Overall, our methods reasonably observe the fine-grained uni-modal contribution at sample-level and achieve considerable improvement on different multi-modal models.
• Abstract（参考訳）: マルチモーダル学習の1つの主要なトピックは、異なるモダリティからの異種情報を統合することである。 しかし、ほとんどのモデルは不満足なマルチモーダル協調に悩まされ、全てのモダリティをうまく活用できなかった。 悪質な学習モダリティを識別し、強化するためにいくつかの手法が提案されているが、理論的な支援によりサンプルレベルでのマルチモーダル協調の細かな観察を提供するのは難しい。 したがって,モダリティのばらつきが異なる現実的なシナリオに直面した場合には,モダリティ間の細かな協調を合理的に観察し,改善することが不可欠である。 そこで本研究では,各モードの寄与度を評価するための細粒度モーダリティ評価指標を提案する。 モダリティ評価(modality valuation)を通じて、マルチモダリティモデルは1つの特定のモダリティに依存する傾向にあり、他のモダリティが低分配であることは残念である。 この問題をさらに分析し,低分散モダリティの識別能力を目標にすることで,モダリティ間の協調性を向上させる。 全体として,本手法は試料レベルでの微細なユニモーダル寄与を合理的に観察し,異なるマルチモーダルモデルに対する大幅な改善を実現する。

関連論文リスト

• What to align in multimodal contrastive learning? [7.7439394183358745]
  単一マルチモーダル空間におけるモダリティ間の通信を可能にするコントラスト型マルチモーダル学習戦略を導入する。 この定式化から,情報共有,相乗的,一意的な用語が自然に出現し,冗長性を超えたマルチモーダル相互作用を推定できることを示す。 後者では、CoMMは複雑なマルチモーダル相互作用を学び、6つのマルチモーダルベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-09-11T16:42:22Z)
• Propensity Score Alignment of Unpaired Multimodal Data [3.8373578956681555]
  マルチモーダル表現学習技術は通常、共通の表現を学ぶためにペア化されたサンプルに依存する。 本稿では,マルチモーダル表現学習において,異なるモダリティにまたがるアンペア化サンプルの整列化という課題に対処するアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-02T02:36:21Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• SHAPE: An Unified Approach to Evaluate the Contribution and Cooperation of Individual Modalities [7.9602600629569285]
  我々は,bf SHapley vbf Alue-based bf PErceptual (SHAPE) スコアを用いて,個々のモダリティの限界寄与度とモダリティ間の協調度を測定する。 我々の実験は、異なるモジュラリティが相補的なタスクに対して、マルチモーダルモデルは依然として支配的なモダリティのみを使用する傾向があることを示唆している。 我々のスコアは、現在のマルチモーダルモデルが様々なモダリティでどのように動作するかを理解するのに役立ち、複数のモダリティを統合するためのより洗練された方法を促進することを願っている。
  論文  参考訳（メタデータ） (2022-04-30T16:35:40Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
  MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。 我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
  論文  参考訳（メタデータ） (2021-06-23T17:54:35Z)
• Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
  生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
  論文  参考訳（メタデータ） (2020-07-02T15:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。