論文の概要: Adaptive Contrastive Learning on Multimodal Transformer for Review
Helpfulness Predictions
- arxiv url: http://arxiv.org/abs/2211.03524v1
- Date: Mon, 7 Nov 2022 13:05:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 17:04:12.558318
- Title: Adaptive Contrastive Learning on Multimodal Transformer for Review
Helpfulness Predictions
- Title(参考訳): マルチモーダル変圧器における適応的コントラスト学習
- Authors: Thong Nguyen, Xiaobao Wu, Anh-Tuan Luu, Cong-Duy Nguyen, Zhen Hai,
Lidong Bing
- Abstract要約: 本稿では,MRHP(Multimodal Review Helpfulness Prediction)問題に対するマルチモーダルコントラスト学習を提案する。
さらに,コントラスト学習における適応重み付け方式を提案する。
最後に,マルチモーダルデータの不整合性に対処するマルチモーダルインタラクションモジュールを提案する。
- 参考スコア(独自算出の注目度): 40.70793282367128
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Modern Review Helpfulness Prediction systems are dependent upon multiple
modalities, typically texts and images. Unfortunately, those contemporary
approaches pay scarce attention to polish representations of cross-modal
relations and tend to suffer from inferior optimization. This might cause harm
to model's predictions in numerous cases. To overcome the aforementioned
issues, we propose Multimodal Contrastive Learning for Multimodal Review
Helpfulness Prediction (MRHP) problem, concentrating on mutual information
between input modalities to explicitly elaborate cross-modal relations. In
addition, we introduce Adaptive Weighting scheme for our contrastive learning
approach in order to increase flexibility in optimization. Lastly, we propose
Multimodal Interaction module to address the unalignment nature of multimodal
data, thereby assisting the model in producing more reasonable multimodal
representations. Experimental results show that our method outperforms prior
baselines and achieves state-of-the-art results on two publicly available
benchmark datasets for MRHP problem.
- Abstract(参考訳): Modern Review Helpfulness Prediction システムは、テキストや画像など、複数のモードに依存している。
残念なことに、これらの現代的アプローチはポーランドのクロスモーダル関係の表現にあまり注意を払わず、劣った最適化に苦しむ傾向がある。
これは多くのケースでモデルの予測に害をもたらす可能性がある。
上記の課題を克服するために, 入力モダリティ間の相互情報から, 明瞭な相互関係へと集中したMRHP(Multimodal Contrastive Learning for Multimodal Review Helpfulness Prediction)問題を提案する。
さらに,最適化の柔軟性を高めるために,コントラスト学習手法に適応的重み付けスキームを導入する。
最後に,マルチモーダルデータの不一致性に対処し,より合理的なマルチモーダル表現を生成するモデルを支援するマルチモーダルインタラクションモジュールを提案する。
実験の結果,MRHP問題に対する2つのベンチマークデータセットにおいて,提案手法が先行ベースラインより優れ,最先端の結果が得られた。
関連論文リスト
- Multimodal Representation Learning by Alternating Unimodal Adaptation [79.9201824151389]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
推論フェーズの間、MLAはテスト時間不確実性に基づくモデル融合機構を使用して、マルチモーダル情報を統合する。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳(メタデータ) (2023-11-06T13:56:57Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳(メタデータ) (2023-09-22T06:55:41Z) - Incorporating Pre-trained Model Prompting in Multimodal Stock Volume
Movement Prediction [22.949484374773967]
本稿では,PromptをベースとしたMUltimodal Stock volumE予測モデル(ProMUSE)を提案する。
金融ニュースの理解を深めるために、事前訓練された言語モデルを使用します。
また, この問題を緩和するため, 核融合ヘッドの横にある一方向の頭部を保ちながら, 新たな異方性コントラストアライメントを提案する。
論文 参考訳(メタデータ) (2023-09-11T16:47:01Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - UniS-MMC: Multimodal Classification via Unimodality-supervised
Multimodal Contrastive Learning [29.237813880311943]
本稿では, より信頼性の高いマルチモーダル表現を, 非モーダル予測の弱い監督下で探索する新しいマルチモーダルコントラスト法を提案する。
2つの画像テキスト分類ベンチマークにおける融合特徴を用いた実験結果から,提案手法が現在最先端のマルチモーダル手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-05-16T09:18:38Z) - Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。
共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
論文 参考訳(メタデータ) (2022-12-19T23:50:19Z) - Correlation Information Bottleneck: Towards Adapting Pretrained
Multimodal Models for Robust Visual Question Answering [63.87200781247364]
相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。
マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
論文 参考訳(メタデータ) (2022-09-14T22:04:10Z) - Abstractive Sentence Summarization with Guidance of Selective Multimodal
Reference [3.505062507621494]
モーダル間の相互関係を考慮したマルチモーダル階層選択変換器(mhsf)モデルを提案する。
提案したmhsfモデルの汎用性を,事前学習+微調整および新鮮トレーニング戦略を用いて評価した。
論文 参考訳(メタデータ) (2021-08-11T09:59:34Z) - Robust Latent Representations via Cross-Modal Translation and Alignment [36.67937514793215]
ほとんどのマルチモーダル機械学習手法では、トレーニングに使用されるすべてのモダリティをテストに利用する必要がある。
この制限に対処するため、トレーニング中のみに複数のモーダルを用いてユニモーダルシステムのテスト性能を向上させることを目的としている。
提案するマルチモーダルトレーニングフレームワークは、クロスモーダル変換と相関に基づく潜在空間アライメントを用いる。
論文 参考訳(メタデータ) (2020-11-03T11:18:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。