論文の概要: A Survey on Multimodal Recommender Systems: Recent Advances and Future Directions
- arxiv url: http://arxiv.org/abs/2502.15711v1
- Date: Wed, 22 Jan 2025 12:00:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-02 04:51:57.055554
- Title: A Survey on Multimodal Recommender Systems: Recent Advances and Future Directions
- Title(参考訳): マルチモーダルレコメンダシステムの最近の進歩と今後の方向性
- Authors: Jinfeng Xu, Zheyu Chen, Shuo Yang, Jinze Li, Wei Wang, Xiping Hu, Steven Hoi, Edith Ngai,
- Abstract要約: 本稿では, マルチモーダルレコメンダシステムにおける最近の研究動向を概観する。
本稿では,既存のMSSモデルを特徴抽出,マルチモーダルフュージョン,ロス関数の4つの重要な領域に分類して紹介する。
より高度で効果的なマルチモーダルレコメンデータシステムの開発に貢献したいと考えています。
- 参考スコア(独自算出の注目度): 16.652996189513658
- License:
- Abstract: Acquiring valuable data from the rapidly expanding information on the internet has become a significant concern, and recommender systems have emerged as a widely used and effective tool for helping users discover items of interest. The essence of recommender systems lies in their ability to predict users' ratings or preferences for various items and subsequently recommend the most relevant ones based on historical interaction data and publicly available information. With the advent of diverse multimedia services, including text, images, video, and audio, humans can perceive the world through multiple modalities. Consequently, a recommender system capable of understanding and interpreting different modal data can more effectively refer to individual preferences. Multimodal Recommender Systems (MRS) not only capture implicit interaction information across multiple modalities but also have the potential to uncover hidden relationships between these modalities. The primary objective of this survey is to comprehensively review recent research advancements in MRS and to analyze the models from a technical perspective. Specifically, we aim to summarize the general process and main challenges of MRS from a technical perspective. We then introduce the existing MRS models by categorizing them into four key areas: Feature Extraction, Encoder, Multimodal Fusion, and Loss Function. Finally, we further discuss potential future directions for developing and enhancing MRS. This survey serves as a comprehensive guide for researchers and practitioners in MRS field, providing insights into the current state of MRS technology and identifying areas for future research. We hope to contribute to developing a more sophisticated and effective multimodal recommender system. To access more details of this paper, we open source a repository: https://github.com/Jinfeng-Xu/Awesome-Multimodal-Recommender-Systems.
- Abstract(参考訳): インターネット上で急速に普及している情報から価値あるデータを取得することは大きな関心事となり、ユーザーが興味のあるアイテムを見つけるのに広く使われている効果的なツールとしてレコメンデーターシステムが登場してきた。
推薦システムの本質は、様々な項目に対するユーザの評価や嗜好を予測し、その後、歴史的なインタラクションデータと公開情報に基づいて最も関連性の高いものを推薦する能力にある。
テキスト、画像、ビデオ、オーディオを含む多様なマルチメディアサービスが出現すると、人間は複数のモダリティを通じて世界を認識することができる。
これにより、異なるモーダルデータの理解と解釈が可能なレコメンデータシステムは、より効果的に個人の好みを参照することができる。
マルチモーダルレコメンダシステム(MRS)は、複数のモーダルをまたいだ暗黙の相互作用情報をキャプチャするだけでなく、これらのモーダル間の隠れた関係を明らかにする可能性も持っている。
本調査の主な目的は、MSSにおける最近の研究の進歩を包括的にレビューし、技術的観点からモデルを分析することである。
具体的には、技術的観点から、MSSの一般的なプロセスと主な課題を要約することを目的としている。
次に,既存のMSSモデルを特徴抽出,エンコーダ,マルチモーダルフュージョン,ロス関数の4つの重要な領域に分類して導入する。
最後に,本調査は,MSS分野の研究者や実践者を対象とした総合的なガイドとして,MSS技術の現状と今後の研究分野の特定について考察する。
より高度で効果的なマルチモーダルレコメンデータシステムの開発に貢献したいと考えています。
この論文の詳細を知るために、私たちはリポジトリをオープンソースにしました。
関連論文リスト
- GUME: Graphs and User Modalities Enhancement for Long-Tail Multimodal Recommendation [13.1192216083304]
本稿では,長期マルチモーダルレコメンデーションのための新しいグラフとユーザモダリティエンハンスメント(GUME)を提案する。
具体的には、アイテム間のマルチモーダルな類似性を用いて、まずユーザ-テムグラフを拡張します。
次に、明示的なインタラクション機能と拡張された関心機能という2つのタイプのユーザモダリティを構築します。
論文 参考訳(メタデータ) (2024-07-17T06:29:00Z) - An Interactive Multi-modal Query Answering System with Retrieval-Augmented Large Language Models [21.892975397847316]
本稿では,新たに開発したマルチモーダル検索フレームワークとナビゲーショングラフインデックスを用いて,対話型マルチモーダルクエリ・アンサーリング(MQA)システムを提案する。
MQAの特筆すべき点は、異なるモダリティの重要性を評価するために、コントラスト学習を利用することである。
本システムは,計算プルーニング技術を用いて改良した,先進的なナビゲーショングラフインデックスによる効率的な検索を実現する。
論文 参考訳(メタデータ) (2024-07-05T02:01:49Z) - Multimodal Pretraining and Generation for Recommendation: A Tutorial [54.07497722719509]
チュートリアルは、マルチモーダル事前学習、マルチモーダル生成、産業アプリケーションという3つの部分で構成されている。
マルチモーダル・レコメンデーションの迅速な理解を促進することを目的としており、この進化する景観の今後の発展について有意義な議論を促進することを目的としている。
論文 参考訳(メタデータ) (2024-05-11T06:15:22Z) - Mirror Gradient: Towards Robust Multimodal Recommender Systems via
Exploring Flat Local Minima [54.06000767038741]
フラットローカルミニマの新しい視点からマルチモーダルリコメンデータシステムの解析を行う。
我々はミラーグラディエント(MG)と呼ばれる簡潔で効果的な勾配戦略を提案する。
提案したMGは、既存の堅牢なトレーニング手法を補完し、多様な高度なレコメンデーションモデルに容易に拡張できることが判明した。
論文 参考訳(メタデータ) (2024-02-17T12:27:30Z) - Enhancing Human-like Multi-Modal Reasoning: A New Challenging Dataset
and Comprehensive Framework [51.44863255495668]
マルチモーダル推論は、人間のような知性を示す人工知能システムの追求において重要な要素である。
提案するマルチモーダル推論(COCO-MMR)データセットは,オープンエンド質問の集合を包含する新しいデータセットである。
画像とテキストエンコーダを強化するために,マルチホップ・クロスモーダル・アテンションや文レベルのコントラスト学習などの革新的な手法を提案する。
論文 参考訳(メタデータ) (2023-07-24T08:58:25Z) - Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。
我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
論文 参考訳(メタデータ) (2023-07-05T06:03:40Z) - How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。
我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
論文 参考訳(メタデータ) (2023-06-09T11:31:50Z) - Multimodal Recommender Systems: A Survey [50.23505070348051]
マルチモーダル・レコメンダ・システム(MRS)は近年,学界と産業の両方から注目を集めている。
本稿では,主に技術的観点から,MSSモデルに関する総合的な調査を行う。
実装コードなど、調査された論文の詳細にアクセスするために、リポジトリをオープンソース化します。
論文 参考訳(メタデータ) (2023-02-08T05:12:54Z) - INODE: Building an End-to-End Data Exploration System in Practice
[Extended Vision] [30.411996388471817]
INODEはエンドツーエンドのデータ探索システムです。
私達は癌のバイオマーカーのReearch、研究および革新の方針の作成および天体物理学の分野の3つの重要な使用例でそれを実証します。
論文 参考訳(メタデータ) (2021-04-09T05:04:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。