論文の概要: Ducho meets Elliot: Large-scale Benchmarks for Multimodal Recommendation

• arxiv url: http://arxiv.org/abs/2409.15857v1
• Date: Tue, 24 Sep 2024 08:29:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 14:58:04.958358
• Title: Ducho meets Elliot: Large-scale Benchmarks for Multimodal Recommendation
• Title（参考訳）: DuchoがElliotに - マルチモーダル勧告のための大規模ベンチマーク
• Authors: Matteo Attimonelli, Danilo Danese, Angela Di Fazio, Daniele Malitesta, Claudio Pomo, Tommaso Di Noia,
• Abstract要約: 商品やサービスを特徴付ける多面的機能は、オンライン販売プラットフォームにおいて、各顧客に影響を与える可能性がある。 一般的なマルチモーダルレコメンデーションパイプラインは、(i)マルチモーダルな特徴の抽出、(ii)レコメンデーションタスクに適したハイレベルな表現の精製、(iv)ユーザイテムスコアの予測を含む。 本論文は,マルチモーダルレコメンデータシステムに対する大規模ベンチマークを行う最初の試みとして,特にマルチモーダル抽出器に着目したものである。
• 参考スコア（独自算出の注目度）: 9.506245109666907
• License:
• Abstract: In specific domains like fashion, music, and movie recommendation, the multi-faceted features characterizing products and services may influence each customer on online selling platforms differently, paving the way to novel multimodal recommendation models that can learn from such multimodal content. According to the literature, the common multimodal recommendation pipeline involves (i) extracting multimodal features, (ii) refining their high-level representations to suit the recommendation task, (iii) optionally fusing all multimodal features, and (iv) predicting the user-item score. While great effort has been put into designing optimal solutions for (ii-iv), to the best of our knowledge, very little attention has been devoted to exploring procedures for (i). In this respect, the existing literature outlines the large availability of multimodal datasets and the ever-growing number of large models accounting for multimodal-aware tasks, but (at the same time) an unjustified adoption of limited standardized solutions. This motivates us to explore more extensive techniques for the (i) stage of the pipeline. To this end, this paper settles as the first attempt to offer a large-scale benchmarking for multimodal recommender systems, with a specific focus on multimodal extractors. Specifically, we take advantage of two popular and recent frameworks for multimodal feature extraction and reproducibility in recommendation, Ducho and Elliot, to offer a unified and ready-to-use experimental environment able to run extensive benchmarking analyses leveraging novel multimodal feature extractors. Results, largely validated under different hyper-parameter settings for the chosen extractors, provide important insights on how to train and tune the next generation of multimodal recommendation algorithms.
• Abstract（参考訳）: ファッション、音楽、映画レコメンデーションといった特定の分野において、商品やサービスを特徴付けるマルチフェイス機能は、オンライン販売プラットフォーム上で各顧客に異なる影響を与える可能性があるため、このようなマルチモーダルコンテンツから学ぶことのできる新しいマルチモーダルレコメンデーションモデルへの道を開くことができる。 文献によると、一般的なマルチモーダルレコメンデーションパイプラインは、 (i)マルチモーダルな特徴を抽出すること 二 推薦業務に適合する高位表示を精算すること。 三 任意にすべてのマルチモーダル特徴を融合させ、 (4)ユーザイットムスコアの予測。 最適なソリューション(i-iv)の設計に多大な努力が払われてきましたが、私たちの知る限りでは、手順の探求にはほとんど注意が払われていません。 (i)。 この点に関して、既存の文献では、マルチモーダルデータセットの高可用性と、マルチモーダル対応タスクを考慮に入れた大規模モデルの増加について概説している。 これは、より広範な技術を探究する動機となります。 i)パイプラインのステージ。 そこで本論文は,マルチモーダルレコメンデータシステムに対する大規模なベンチマークを行うための最初の試みとして,特にマルチモーダル抽出器に着目したものである。 具体的には、マルチモーダル特徴抽出と再現性のための2つの人気フレームワーク、Ducho と Elliot を利用して、新しいマルチモーダル特徴抽出器を利用した広範囲なベンチマーク分析を行うことができる統一的で実用的な実験環境を提供する。 その結果、選択した抽出器の異なるハイパーパラメータ設定で大半が検証され、次世代のマルチモーダルレコメンデーションアルゴリズムのトレーニングとチューニング方法に関する重要な洞察が得られた。

関連論文リスト

• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。 我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。 我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning [90.75075886543404]
  MLLM(Multimodal Large Language Models)は、幅広い領域にわたる顕著なパフォーマンスを示す。 本研究では,MLLMの効率的な命令チューニングのための新しいMultimodal Prompt Tuning (M$2$PT) 手法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T01:40:24Z)
• Do We Really Need to Drop Items with Missing Modalities in Multimodal Recommendation? [15.428850539237182]
  我々は、(いくつかの)モダリティの欠如は、実際、マルチモーダルレコメンデーションにおいて広く拡散された現象であることを示した。 本稿では,機械学習における従来の計算手法を活用することで,欠落したマルチモーダル機能を推奨するパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-21T16:39:47Z)
• A Unified Graph Transformer for Overcoming Isolations in Multi-modal Recommendation [9.720586396359906]
  既存のマルチモーダルレコメンダシステムは、通常、特徴抽出とモダリティモデリングの両方に分離されたプロセスを使用する。 本稿では, マルチウェイ変換器を用いて, 整列したマルチモーダル特徴を抽出するUnified Multi-modal Graph Transformer (UGT) という新しいモデルを提案する。 UGTモデルは, 一般的に使用されるマルチモーダルレコメンデーション損失と共同最適化した場合に, 特に有意な有効性が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-29T11:04:31Z)
• Towards Bridging the Cross-modal Semantic Gap for Multi-modal Recommendation [12.306686291299146]
  マルチモーダルレコメンデーションはレコメンデーションシステムの性能を大幅に向上させる。 既存のマルチモーダルレコメンデーションモデルは、マルチメディア情報伝搬プロセスを利用してアイテム表現を豊かにする。 本稿では,モダリティ間のセマンティックギャップをブリッジし,詳細な多視点セマンティック情報を抽出する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:56:03Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Multimodal Pretraining and Generation for Recommendation: A Tutorial [54.07497722719509]
  チュートリアルは、マルチモーダル事前学習、マルチモーダル生成、産業アプリケーションという3つの部分で構成されている。 マルチモーダル・レコメンデーションの迅速な理解を促進することを目的としており、この進化する景観の今後の発展について有意義な議論を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-05-11T06:15:22Z)
• Generative Multimodal Models are In-Context Learners [60.50927925426832]
  我々は37億のパラメータを持つ生成的マルチモーダルモデルであるEmu2を紹介し、大規模マルチモーダルシーケンスで訓練する。 Emu2は、マルチモーダルなインコンテキスト学習能力を示し、オンザフライ推論を必要とするタスクを解決しようとさえしている。
  論文  参考訳（メタデータ） (2023-12-20T18:59:58Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。