論文の概要: Are Multimodal Embeddings Truly Beneficial for Recommendation? A Deep Dive into Whole vs. Individual Modalities

• arxiv url: http://arxiv.org/abs/2508.07399v1
• Date: Sun, 10 Aug 2025 15:59:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.841767
• Title: Are Multimodal Embeddings Truly Beneficial for Recommendation? A Deep Dive into Whole vs. Individual Modalities
• Title（参考訳）: マルチモーダル・エンベディングはレコメンデーションにとって真に有効か? : 個別のモダリティのディープダイブ
• Authors: Yu Ye, Junchen Fu, Yu Song, Kaiwen Zheng, Joemon M. Jose,
• Abstract要約: マルチモーダルレコメンデーション(MMRec)は、テキストと視覚的な埋め込みを活用する主流パラダイムとして登場した。 本稿では,現代MMRecモデルにおけるテキストと視覚的埋め込みの役割を,全体としても個人的にも検討する。
• 参考スコア（独自算出の注目度）: 6.828711254662682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal recommendation (MMRec) has emerged as a mainstream paradigm, typically leveraging text and visual embeddings extracted from pre-trained models such as Sentence-BERT, Vision Transformers, and ResNet. This approach is founded on the intuitive assumption that incorporating multimodal embeddings can enhance recommendation performance. However, despite its popularity, this assumption lacks comprehensive empirical verification. This presents a critical research gap. To address it, we pose the central research question of this paper: Are multimodal embeddings truly beneficial for recommendation? To answer this question, we conduct a large-scale empirical study examining the role of text and visual embeddings in modern MMRec models, both as a whole and individually. Specifically, we pose two key research questions: (1) Do multimodal embeddings as a whole improve recommendation performance? (2) Is each individual modality - text and image - useful when used alone? To isolate the effect of individual modalities - text or visual - we employ a modality knockout strategy by setting the corresponding embeddings to either constant values or random noise. To ensure the scale and comprehensiveness of our study, we evaluate 14 widely used state-of-the-art MMRec models. Our findings reveal that: (1) multimodal embeddings generally enhance recommendation performance - particularly when integrated through more sophisticated graph-based fusion models. Surprisingly, commonly adopted baseline models with simple fusion schemes, such as VBPR and BM3, show only limited gains. (2) The text modality alone achieves performance comparable to the full multimodal setting in most cases, whereas the image modality alone does not. These results offer foundational insights and practical guidance for the MMRec community. We will release our code and datasets to facilitate future research.
• Abstract（参考訳）: マルチモーダルレコメンデーション(MMRec)は、通常、Sentence-BERT、Vision Transformers、ResNetといったトレーニング済みモデルから抽出されたテキストと視覚的埋め込みを活用する主流パラダイムとして登場した。 このアプローチは、マルチモーダル埋め込みを組み込むことでレコメンデーション性能を向上させるという直感的な仮定に基づいている。 しかし、その人気にもかかわらず、この仮定は包括的な実証的な検証を欠いている。 これは重要な研究のギャップを生じさせる。 マルチモーダル埋め込みは本当に推奨に有益か? そこで本研究では,現代MMRecモデルにおけるテキストと視覚的埋め込みの役割を,全体としても個人的にも,大規模に検証した。 具体的には、(1)マルチモーダル埋め込みは全体としてレコメンデーション性能を向上させるのか? 2) 個々のモダリティ - テキストと画像 - は単独で使用する場合に有用か? 個別のモダリティ(テキストまたは視覚)の効果を分離するために、対応する埋め込みを一定値またはランダムノイズに設定することで、モダリティノックアウト戦略を採用する。 本研究の規模と包括性を確保するため,14種類のMMRecモデルについて検討した。 1)マルチモーダル埋め込みは、特により洗練されたグラフベースの融合モデルを通して統合された場合、一般的に推奨性能を高める。 意外なことに、VBPRやBM3のような単純な融合方式のベースラインモデルは、限られた利得しか示さなかった。 2) テキストモダリティだけでは、ほとんどの場合、完全なマルチモーダル設定に匹敵する性能を達成するが、画像モダリティだけでは達成しない。 これらの結果は、MMRecコミュニティに基礎的な洞察と実践的なガイダンスを提供する。 将来の研究を促進するために、コードとデータセットをリリースします。

関連論文リスト

• Learning Item Representations Directly from Multimodal Features for Effective Recommendation [51.49251689107541]
  マルチモーダルレコメンデータシステムは、主にベイズパーソナライズされたランク付け(BPR)最適化を利用してアイテム表現を学習する。 本稿では,マルチモーダルな特徴からアイテム表現を直接学習し,推薦性能を向上する新しいモデル(LIRDRec)を提案する。
  論文  参考訳（メタデータ） (2025-05-08T05:42:22Z)
• GUME: Graphs and User Modalities Enhancement for Long-Tail Multimodal Recommendation [13.1192216083304]
  本稿では,長期マルチモーダルレコメンデーションのための新しいグラフとユーザモダリティエンハンスメント(GUME)を提案する。 具体的には、アイテム間のマルチモーダルな類似性を用いて、まずユーザ-テムグラフを拡張します。 次に、明示的なインタラクション機能と拡張された関心機能という2つのタイプのユーザモダリティを構築します。
  論文  参考訳（メタデータ） (2024-07-17T06:29:00Z)
• It is Never Too Late to Mend: Separate Learning for Multimedia Recommendation [19.826293335983145]
  マルチメディアレコメンデーションのためのセパレート・ラーニング(SEA)を提案し,主にモーダル・ユニクおよびジェネリック・ラーニングの相互情報ビューを含む。 具体的には、まずGNNを用いて、異なるモーダルのユーザとアイテムの表現を学習し、各モーダル表現を総称的および一意的な部分に分割する。次に、異なるモーダルの一般的な部分の整合性を最大化し、より高品質なモーダル・ジェネリックな特徴を学習するために、相互情報の低境界を最大化するためにSolosimlossを設計する。
  論文  参考訳（メタデータ） (2024-06-12T14:35:43Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)
• Multimodal Understanding Through Correlation Maximization and Minimization [23.8764755753415]
  マルチモーダルデータの本質的な性質について,以下の質問をすることで検討する。 汎用マルチモーダルデータのより構造化された潜在表現を学べるか? 数学的にも視覚的にも直感的に、潜在表現が何を捉えているのかを理解できますか?
  論文  参考訳（メタデータ） (2023-05-04T19:53:05Z)
• What Makes Multimodal Learning Better than Single (Provably) [28.793128982222438]
  複数のモダリティを持つ学習は、モダリティのサブセットを使用することで、より少ない人口リスクを達成できることを示す。 これは、実際のマルチモーダル応用で観測された重要な定性的現象を捉えた最初の理論的治療である。
  論文  参考訳（メタデータ） (2021-06-08T17:20:02Z)
• MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis [48.776247141839875]
  本稿では,2つの異なる部分空間に各モダリティを投影する新しいフレームワーク MISA を提案する。 最初の部分空間はモダリティ不変(modality-invariant)であり、モダリティにまたがる表現はその共通点を学び、モダリティギャップを減少させる。 一般的な感情分析ベンチマークであるMOSIとMOSEIの実験は、最先端モデルよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:13:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。