論文の概要: Disentangling and Generating Modalities for Recommendation in Missing Modality Scenarios

• arxiv url: http://arxiv.org/abs/2504.16352v1
• Date: Wed, 23 Apr 2025 02:04:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.969905
• Title: Disentangling and Generating Modalities for Recommendation in Missing Modality Scenarios
• Title（参考訳）: 欠席したモダリティシナリオにおける勧告のためのディスタングルとモダリティの生成
• Authors: Jiwan Kim, Hongseok Kang, Sein Kim, Kibum Kim, Chanyoung Park,
• Abstract要約: 本稿では,モダリティを欠くシナリオに対して,DGMレコメンダ(Disentangling and Generating Modality Recommender)を提案する。 DGMRecは、情報ベースの観点から、モダリティの特徴を一般的な、特定のモダリティの特徴に分解する。 挑戦的なシナリオでは、最先端のMSSよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 21.73914052076956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal recommender systems (MRSs) have achieved notable success in improving personalization by leveraging diverse modalities such as images, text, and audio. However, two key challenges remain insufficiently addressed: (1) Insufficient consideration of missing modality scenarios and (2) the overlooking of unique characteristics of modality features. These challenges result in significant performance degradation in realistic situations where modalities are missing. To address these issues, we propose Disentangling and Generating Modality Recommender (DGMRec), a novel framework tailored for missing modality scenarios. DGMRec disentangles modality features into general and specific modality features from an information-based perspective, enabling richer representations for recommendation. Building on this, it generates missing modality features by integrating aligned features from other modalities and leveraging user modality preferences. Extensive experiments show that DGMRec consistently outperforms state-of-the-art MRSs in challenging scenarios, including missing modalities and new item settings as well as diverse missing ratios and varying levels of missing modalities. Moreover, DGMRec's generation-based approach enables cross-modal retrieval, a task inapplicable for existing MRSs, highlighting its adaptability and potential for real-world applications. Our code is available at https://github.com/ptkjw1997/DGMRec.
• Abstract（参考訳）: マルチモーダル・レコメンダ・システム(MRS)は、画像、テキスト、オーディオなどの様々なモダリティを活用することにより、パーソナライズを改善することに成功している。 しかし,(1)モダリティのシナリオを十分に考慮しておらず,(2)モダリティの特徴を軽視する,という2つの課題が未解決のまま残されている。 これらの課題は、モダリティが欠落している現実的な状況において、大幅なパフォーマンス劣化をもたらす。 これらの問題に対処するため、我々は、欠落したモダリティシナリオに適した新しいフレームワークであるDGMRec(Disentangling and Generating Modality Recommender)を提案する。 DGMRecは、情報に基づく視点から、モダリティの特徴を一般的な特定のモダリティの特徴に切り離し、よりリッチな表現を可能にする。 これに基づいて、他のモダリティからの整列した特徴を統合し、ユーザのモダリティ選好を活用することで、モダリティの欠如する特徴を生成する。 大規模な実験により、DGMRecは、欠落したモダリティや新しいアイテム設定、多彩な欠落率、欠落したモダリティのさまざまなレベルを含む、挑戦的なシナリオにおいて、常に最先端のMDSよりも優れていたことが示されている。 さらに、DGMRecの世代ベースのアプローチは、既存のMSSには適用できないタスクであるクロスモーダル検索を可能にし、その適応性と現実のアプリケーションの可能性を強調している。 私たちのコードはhttps://github.com/ptkjw1997/DGMRec.comで公開されています。

関連論文リスト

• MDE: Modality Discrimination Enhancement for Multi-modal Recommendation [17.94842763325326]
  マルチモーダルレコメンデーションシステムのためのMDEフレームワークを提案する。 MDEは、共有機能を維持しながらレコメンデーション精度を向上させるために、モダリティ固有の情報抽出を優先する。 提案手法は、他の最先端手法よりも優れており、モダリティ共有とモダリティ特化の特徴を共同で検討することの有効性を実証している。
  論文  参考訳（メタデータ） (2025-02-08T03:36:14Z)
• Retrieval-Augmented Dynamic Prompt Tuning for Incomplete Multimodal Learning [27.867369806400834]
  本稿では,Retrieval-AuGmented Dynamic Prompt TuningフレームワークであるRAGPTを提案する。 RAGPTは、(I)マルチチャネルレトリバー、(II)モダリティ生成器、(III)コンテキスト認識プロンプトの3つのモジュールから構成される。 3つの実世界のデータセットで実施された実験によると、RAGPTは不完全なモダリティ問題に対処する際の全ての競争ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-02T07:39:48Z)
• Towards Modality Generalization: A Benchmark and Prospective Analysis [56.84045461854789]
  本稿では,モダリティ・ジェネリゼーション(MG)について述べる。 マルチモーダルアルゴリズムを特徴とする包括的ベンチマークを提案し,一般化に着目した既存手法を適用した。 私たちの研究は、堅牢で適応可能なマルチモーダルモデルを進化させる基盤を提供し、現実的なシナリオで目に見えないモダリティを扱えるようにします。
  論文  参考訳（メタデータ） (2024-12-24T08:38:35Z)
• All in One Framework for Multimodal Re-identification in the Wild [58.380708329455466]
  オールインワン(AIO)という,ReID導入のためのマルチモーダル学習パラダイム AIOは、凍結したトレーニング済みのビッグデータをエンコーダとして利用し、追加の微調整なしに効果的なマルチモーダル検索を可能にする。 クロスモーダルおよびマルチモーダルReIDの実験により、AIOは様々なモーダルデータを扱うだけでなく、困難な状況でも優れていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-08T01:04:36Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Exploring Missing Modality in Multimodal Egocentric Datasets [89.76463983679058]
  モダリティが欠如している場合でも,MMT(Missing Modality Token)という新しい概念を導入してパフォーマンスを維持する。 テストセットの半分がモダル不完全である場合、元の$sim 30%$ dropから$sim 10%$に減らします。
  論文  参考訳（メタデータ） (2024-01-21T11:55:42Z)
• What Makes for Robust Multi-Modal Models in the Face of Missing Modalities? [35.19295402483624]
  我々は、情報理論の観点から、欠落するモダリティに遭遇するマルチモーダルモデルのシナリオをモデル化する。 UME-MMA(Uni-Modal Ensemble with Missing Modality Adaptation)を紹介する。 UME-MMAは、マルチモーダルモデルのための一様事前訓練重みを用いて特徴抽出を強化し、欠落したモダリティデータ拡張技術を用いて、モダリティのない状況に適応する。
  論文  参考訳（メタデータ） (2023-10-10T07:47:57Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。