論文の概要: Enhancing Multi-modal Cooperation via Fine-grained Modality Valuation
- arxiv url: http://arxiv.org/abs/2309.06255v2
- Date: Tue, 21 Nov 2023 11:11:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 04:53:45.695897
- Title: Enhancing Multi-modal Cooperation via Fine-grained Modality Valuation
- Title(参考訳): 微細なモダリティ評価によるマルチモーダル協調の促進
- Authors: Yake Wei, Ruoxuan Feng, Zihe Wang, Di Hu
- Abstract要約: サンプルレベルで各モードの寄与を評価するために, 微粒なモーダリティ評価指標を導入する。
我々は、この問題を分析し、低貢献率の差別能力を高めることにより、モダリティ間の協調を改善する。
- 参考スコア(独自算出の注目度): 11.664945091814904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One primary topic of multi-modal learning is to jointly incorporate
heterogeneous information from different modalities. However, most models often
suffer from unsatisfactory multi-modal cooperation, which could not jointly
utilize all modalities well. Some methods are proposed to identify and enhance
the worse learnt modality, but are often hard to provide the fine-grained
observation of multi-modal cooperation at sample-level with theoretical
support. Hence, it is essential to reasonably observe and improve the
fine-grained cooperation between modalities, especially when facing realistic
scenarios where the modality discrepancy could vary across different samples.
To this end, we introduce a fine-grained modality valuation metric to evaluate
the contribution of each modality at sample-level. Via modality valuation, we
regretfully observe that the multi-modal model tends to rely on one specific
modality, resulting in other modalities being low-contributing. We further
analyze this issue and improve cooperation between modalities by enhancing the
discriminative ability of low-contributing modalities in a targeted manner.
Overall, our methods reasonably observe the fine-grained uni-modal contribution
at sample-level and achieve considerable improvement on different multi-modal
models.
- Abstract(参考訳): マルチモーダル学習の1つの主要なトピックは、異なるモダリティからの異種情報を統合することである。
しかし、ほとんどのモデルは不満足なマルチモーダル協調に悩まされ、全てのモダリティをうまく活用できなかった。
悪質な学習モダリティを識別し、強化するためにいくつかの手法が提案されているが、理論的な支援によりサンプルレベルでのマルチモーダル協調の細かな観察を提供するのは難しい。
したがって,モダリティのばらつきが異なる現実的なシナリオに直面した場合には,モダリティ間の細かな協調を合理的に観察し,改善することが不可欠である。
そこで本研究では,各モードの寄与度を評価するための細粒度モーダリティ評価指標を提案する。
モダリティ評価(modality valuation)を通じて、マルチモダリティモデルは1つの特定のモダリティに依存する傾向にあり、他のモダリティが低分配であることは残念である。
この問題をさらに分析し,低分散モダリティの識別能力を目標にすることで,モダリティ間の協調性を向上させる。
全体として,本手法は試料レベルでの微細なユニモーダル寄与を合理的に観察し,異なるマルチモーダルモデルに対する大幅な改善を実現する。
関連論文リスト
- Quantifying and Enhancing Multi-modal Robustness with Modality
Preference [10.233575823976564]
マルチモーダルモデルは、ユニモーダル攻撃や欠落状態のような広汎な摂動に対して脆弱である。
より大きいユニモーダル表現マージンとより信頼性の高いモダリティの統合は、より高いロバスト性を達成するために必須の要素である。
理論的な発見に触発されて,認証ロバストマルチモーダルトレーニング(Certible Robust Multi-modal Training)と呼ばれるトレーニング手順を導入する。
論文 参考訳(メタデータ) (2024-02-09T08:33:48Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [79.9201824151389]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
推論フェーズの間、MLAはテスト時間不確実性に基づくモデル融合機構を使用して、マルチモーダル情報を統合する。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳(メタデータ) (2023-11-06T13:56:57Z) - Interpretation on Multi-modal Visual Fusion [10.045591415286516]
マルチモーダル・ビジョン・コミュニティの解釈に光を当てるための分析的枠組みと新しい指標を提案する。
モダリティ間の表現の一貫性と特殊性、各モダリティ内の進化規則、マルチモダリティモデルの最適化に使用される協調論理について検討する。
論文 参考訳(メタデータ) (2023-08-19T14:01:04Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - Multimodal Learning Without Labeled Multimodal Data: Guarantees and
Applications [97.79283975518047]
複数のモーダルから共同で学習する多くの機械学習システムでは、マルチモーダル相互作用の性質を理解することが中心的な研究課題である。
我々は,この相互作用定量化の課題について,ラベル付き単調データのみを用いた半教師付き環境で検討する。
相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は、マルチモーダル相互作用の量を定量化するための下界と上界の導出である。
論文 参考訳(メタデータ) (2023-06-07T15:44:53Z) - Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
動的マルチモーダル融合は、有望な学習パラダイムとして現れる。
広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。
本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。
QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-03T08:32:35Z) - UniS-MMC: Multimodal Classification via Unimodality-supervised
Multimodal Contrastive Learning [29.237813880311943]
本稿では, より信頼性の高いマルチモーダル表現を, 非モーダル予測の弱い監督下で探索する新しいマルチモーダルコントラスト法を提案する。
2つの画像テキスト分類ベンチマークにおける融合特徴を用いた実験結果から,提案手法が現在最先端のマルチモーダル手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-05-16T09:18:38Z) - Adaptive Contrastive Learning on Multimodal Transformer for Review
Helpfulness Predictions [40.70793282367128]
本稿では,MRHP(Multimodal Review Helpfulness Prediction)問題に対するマルチモーダルコントラスト学習を提案する。
さらに,コントラスト学習における適応重み付け方式を提案する。
最後に,マルチモーダルデータの不整合性に対処するマルチモーダルインタラクションモジュールを提案する。
論文 参考訳(メタデータ) (2022-11-07T13:05:56Z) - SHAPE: An Unified Approach to Evaluate the Contribution and Cooperation
of Individual Modalities [7.9602600629569285]
我々は,bf SHapley vbf Alue-based bf PErceptual (SHAPE) スコアを用いて,個々のモダリティの限界寄与度とモダリティ間の協調度を測定する。
我々の実験は、異なるモジュラリティが相補的なタスクに対して、マルチモーダルモデルは依然として支配的なモダリティのみを使用する傾向があることを示唆している。
我々のスコアは、現在のマルチモーダルモデルが様々なモダリティでどのように動作するかを理解するのに役立ち、複数のモダリティを統合するためのより洗練された方法を促進することを願っている。
論文 参考訳(メタデータ) (2022-04-30T16:35:40Z) - Relating by Contrasting: A Data-efficient Framework for Multimodal
Generative Models [86.9292779620645]
生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。
提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
論文 参考訳(メタデータ) (2020-07-02T15:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。