論文の概要: Enhancing multimodal cooperation via sample-level modality valuation

• arxiv url: http://arxiv.org/abs/2309.06255v4
• Date: Fri, 14 Jun 2024 03:37:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 19:53:15.409186
• Title: Enhancing multimodal cooperation via sample-level modality valuation
• Title（参考訳）: サンプルレベルのモダリティ評価によるマルチモーダル協調の強化
• Authors: Yake Wei, Ruoxuan Feng, Zihe Wang, Di Hu,
• Abstract要約: そこで本研究では,各サンプルに対するモダリティの寄与を評価するために,サンプルレベルのモダリティ評価指標を提案する。 モダリティ評価によって、モダリティの相違は、データセットレベルでのグローバルな貢献相違を超えて、実際にサンプルレベルで異なる可能性があることが分かる。 本手法は, 微細なユニモーダル・コントリビューションを合理的に観察し, 大幅な改善を実現している。
• 参考スコア（独自算出の注目度）: 10.677997431505815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One primary topic of multimodal learning is to jointly incorporate heterogeneous information from different modalities. However most models often suffer from unsatisfactory multimodal cooperation which cannot jointly utilize all modalities well. Some methods are proposed to identify and enhance the worse learnt modality but they are often hard to provide the fine-grained observation of multimodal cooperation at sample-level with theoretical support. Hence it is essential to reasonably observe and improve the fine-grained cooperation between modalities especially when facing realistic scenarios where the modality discrepancy could vary across different samples. To this end we introduce a sample-level modality valuation metric to evaluate the contribution of each modality for each sample. Via modality valuation we observe that modality discrepancy indeed could be different at sample-level beyond the global contribution discrepancy at dataset-level. We further analyze this issue and improve cooperation between modalities at sample-level by enhancing the discriminative ability of low-contributing modalities in a targeted manner. Overall our methods reasonably observe the fine-grained uni-modal contribution and achieve considerable improvement. The source code and dataset are available at https://github.com/GeWu-Lab/Valuate-and-Enhance-Multimodal-Cooperation.
• Abstract（参考訳）: マルチモーダル学習の第一のトピックは、異なるモーダルからの異種情報を共同で組み込むことである。 しかし、ほとんどのモデルは、全てのモダリティをうまく活用できない不満足なマルチモーダル協調に悩まされる。 いくつかの手法は、より悪い学習モダリティを識別し、強化するために提案されているが、しばしば、理論的な支援を伴うサンプルレベルでのマルチモーダル協調のきめ細かい観察を提供することは困難である。 したがって、モダリティ間の微粒な協調を合理的に観察し、改善することが不可欠であり、特に、モダリティの相違が異なるサンプル間で異なる現実的なシナリオに直面している場合である。 この目的のために,各サンプルに対する各モダリティの寄与を評価するために,サンプルレベルのモダリティ評価指標を導入する。 モダリティ評価によって、モダリティの相違は、データセットレベルでのグローバルな貢献相違を超えて、実際にサンプルレベルで異なる可能性があることが分かる。 さらに,本問題を解析し,低配当モダリティの識別能力を高めることで,サンプルレベルでのモダリティ間の協調性を向上する。 全体として,本手法は細粒度のユニモーダルコントリビューションを合理的に観察し,大幅な改善を実現している。 ソースコードとデータセットはhttps://github.com/GeWu-Lab/Valuate-and-Enhance-Multimodal-Cooperationで公開されている。

関連論文リスト

• Asymmetric Reinforcing against Multi-modal Representation Bias [59.685072206359855]
  マルチモーダル表現バイアス(ARM)に対する非対称強化法を提案する。 我々のARMは、条件付き相互情報を通じて支配的なモダリティを表現する能力を維持しながら、弱いモダリティを動的に強化する。 我々はマルチモーダル学習の性能を著しく改善し、不均衡なマルチモーダル学習の軽減に顕著な進展をもたらした。
  論文  参考訳（メタデータ） (2025-01-02T13:00:06Z)
• Towards Modality Generalization: A Benchmark and Prospective Analysis [56.84045461854789]
  本稿では,モダリティ・ジェネリゼーション(MG)について述べる。 マルチモーダルアルゴリズムを特徴とする包括的ベンチマークを提案し,一般化に着目した既存手法を適用した。 私たちの研究は、堅牢で適応可能なマルチモーダルモデルを進化させる基盤を提供し、現実的なシナリオで目に見えないモダリティを扱えるようにします。
  論文  参考訳（メタデータ） (2024-12-24T08:38:35Z)
• What to align in multimodal contrastive learning? [7.7439394183358745]
  単一マルチモーダル空間におけるモダリティ間の通信を可能にするコントラスト型マルチモーダル学習戦略を導入する。 この定式化から,情報共有,相乗的,一意的な用語が自然に出現し,冗長性を超えたマルチモーダル相互作用を推定できることを示す。 後者では、CoMMは複雑なマルチモーダル相互作用を学び、6つのマルチモーダルベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-09-11T16:42:22Z)
• Propensity Score Alignment of Unpaired Multimodal Data [3.8373578956681555]
  マルチモーダル表現学習技術は通常、共通の表現を学ぶためにペア化されたサンプルに依存する。 本稿では,マルチモーダル表現学習において,異なるモダリティにまたがるアンペア化サンプルの整列化という課題に対処するアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-02T02:36:21Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• SHAPE: An Unified Approach to Evaluate the Contribution and Cooperation of Individual Modalities [7.9602600629569285]
  我々は,bf SHapley vbf Alue-based bf PErceptual (SHAPE) スコアを用いて,個々のモダリティの限界寄与度とモダリティ間の協調度を測定する。 我々の実験は、異なるモジュラリティが相補的なタスクに対して、マルチモーダルモデルは依然として支配的なモダリティのみを使用する傾向があることを示唆している。 我々のスコアは、現在のマルチモーダルモデルが様々なモダリティでどのように動作するかを理解するのに役立ち、複数のモダリティを統合するためのより洗練された方法を促進することを願っている。
  論文  参考訳（メタデータ） (2022-04-30T16:35:40Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
  MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。 我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
  論文  参考訳（メタデータ） (2021-06-23T17:54:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。