論文の概要: Training-free Graph-based Imputation of Missing Modalities in Multimodal Recommendation
- arxiv url: http://arxiv.org/abs/2602.17354v1
- Date: Thu, 19 Feb 2026 13:37:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-20 15:21:29.04285
- Title: Training-free Graph-based Imputation of Missing Modalities in Multimodal Recommendation
- Title(参考訳): マルチモーダルレコメンデーションにおけるミスモーダリティの無トレーニンググラフによる計算
- Authors: Daniele Malitesta, Emanuele Rossi, Claudio Pomo, Tommaso Di Noia, Fragkiskos D. Malliaros,
- Abstract要約: 一般的なプラクティスは、モダリティの欠如したアイテムをドロップし、元のデータセットのサブサンプルでマルチモーダルRSをトレーニングすることである。
本研究では,マルチモーダルレコメンデーションにおけるモダリティの欠如に対する問題形式化を提案する。
課題項目グラフ全体を通して利用可能なマルチモーダルな特徴を伝達し,不足する特徴を示唆する4つのトレーニング不要なアプローチを提案する。
- 参考スコア(独自算出の注目度): 17.99701858812936
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal recommender systems (RSs) represent items in the catalog through multimodal data (e.g., product images and descriptions) that, in some cases, might be noisy or (even worse) missing. In those scenarios, the common practice is to drop items with missing modalities and train the multimodal RSs on a subsample of the original dataset. To date, the problem of missing modalities in multimodal recommendation has still received limited attention in the literature, lacking a precise formalisation as done with missing information in traditional machine learning. In this work, we first provide a problem formalisation for missing modalities in multimodal recommendation. Second, by leveraging the user-item graph structure, we re-cast the problem of missing multimodal information as a problem of graph features interpolation on the item-item co-purchase graph. On this basis, we propose four training-free approaches that propagate the available multimodal features throughout the item-item graph to impute the missing features. Extensive experiments on popular multimodal recommendation datasets demonstrate that our solutions can be seamlessly plugged into any existing multimodal RS and benchmarking framework while still preserving (or even widen) the performance gap between multimodal and traditional RSs. Moreover, we show that our graph-based techniques can perform better than traditional imputations in machine learning under different missing modalities settings. Finally, we analyse (for the first time in multimodal RSs) how feature homophily calculated on the item-item graph can influence our graph-based imputations.
- Abstract(参考訳): マルチモーダルレコメンダシステム(RS)は、多モーダルデータ(例:製品画像と記述)を通してカタログ内のアイテムを表現し、場合によってはノイズや(さらに悪い)欠落を生じる。
これらのシナリオでは、一般的なプラクティスは、モダリティの欠如したアイテムをドロップして、元のデータセットのサブサンプルでマルチモーダルRSをトレーニングすることです。
これまでのところ、マルチモーダルレコメンデーションにおけるモダリティの欠如という問題は、従来の機械学習における欠落情報による正確な定式化を欠いているため、文献ではあまり注目されていない。
本研究は,まず,マルチモーダルレコメンデーションにおけるモダリティの欠如に関する問題を定式化する。
第2に,マルチモーダル情報不足の問題を,アイテムイットグラフの補間問題として再検討する。
そこで本研究では、アイテムイットグラフ全体を通して利用可能なマルチモーダルな特徴を伝達し、欠落する特徴を補足する4つのトレーニング不要なアプローチを提案する。
人気の高いマルチモーダルレコメンデーションデータセットに関する大規模な実験は、我々のソリューションが既存のマルチモーダルRSとベンチマークフレームワークにシームレスにプラグインされ、マルチモーダルと従来のRSのパフォーマンスギャップを保ちながら、さらに拡大することができることを示している。
さらに,我々のグラフベースの手法は,異なるモダリティ設定下での機械学習において,従来の計算法よりも優れた性能を発揮することを示す。
最後に、アイテムイットグラフ上でホモフィリーに計算された特徴が、グラフベースの計算にどのように影響するかを(マルチモーダルRSにおいて)初めて分析する。
関連論文リスト
- Better Together: Leveraging Unpaired Multimodal Data for Stronger Unimodal Models [63.032359320629105]
In this present: Unpaired Multimodal, a modality-agnostic training paradigm, a single model then alternately processs from different modalities while sharing parameters across。
補助モダリティからの未ペアリングデータを使用することで、画像や音声などの様々な単一目標に対して、ダウンストリーム性能が一貫して向上することを示す。
論文 参考訳(メタデータ) (2025-10-09T17:32:23Z) - Refining Contrastive Learning and Homography Relations for Multi-Modal Recommendation [19.01114538768217]
我々は,textbfRtextbfEfining multi-modtextbfAl conttextbfRastive learning and hotextbfMography relationsを提案する。
実世界の3つのデータセットに対する実験は、REARMの様々な最先端ベースラインに対する優位性を実証している。
論文 参考訳(メタデータ) (2025-08-19T11:35:48Z) - MIFNet: Learning Modality-Invariant Features for Generalizable Multimodal Image Matching [54.740256498985026]
キーポイントの検出と記述方法は、しばしばマルチモーダルデータと競合する。
マルチモーダル画像マッチングにおけるキーポイント記述に対するモダリティ不変特徴量を計算するためのモダリティ不変特徴量学習ネットワーク(MIFNet)を提案する。
論文 参考訳(メタデータ) (2025-01-20T06:56:30Z) - MINIMA: Modality Invariant Image Matching [52.505282811925454]
複数のクロスモーダルケースを対象とした統合画像マッチングフレームワークであるMINIMAを提案する。
生成モデルを用いて、安価だがリッチなRGBのみのマッチングデータからモダリティをスケールアップする。
MD-synでは、任意の高度なマッチングパイプラインをランダムに選択したモダリティペアで直接訓練して、クロスモーダル能力を得ることができる。
論文 参考訳(メタデータ) (2024-12-27T02:39:50Z) - Do We Really Need to Drop Items with Missing Modalities in Multimodal Recommendation? [15.428850539237182]
我々は、(いくつかの)モダリティの欠如は、実際、マルチモーダルレコメンデーションにおいて広く拡散された現象であることを示した。
本稿では,機械学習における従来の計算手法を活用することで,欠落したマルチモーダル機能を推奨するパイプラインを提案する。
論文 参考訳(メタデータ) (2024-08-21T16:39:47Z) - Deep Metric Loss for Multimodal Learning [3.8979646385036175]
マルチモーダル学習のための新しいテキストマルチモーダル損失パラダイムを提案する。
textMultiModal Losは、過剰適合による非効率な学習を防止し、マルチモーダルモデルを効率的に最適化する。
我々の損失は、最近のモデルの性能向上を実証的に示す。
論文 参考訳(メタデータ) (2023-08-21T06:04:30Z) - Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。
共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
論文 参考訳(メタデータ) (2022-12-19T23:50:19Z) - Prompting for Multi-Modal Tracking [70.0522146292258]
マルチモーダルトラッキングのための新しいマルチモーダルプロンプトトラッカー(ProTrack)を提案する。
ProTrackはプロンプトパラダイムにより、マルチモーダル入力を単一モーダルに変換することができる。
我々のProTrackは、マルチモーダルデータに余分な訓練を加えることなく、入力を変更するだけで高性能なマルチモーダルトラッキングを実現することができる。
論文 参考訳(メタデータ) (2022-07-29T09:35:02Z) - Graph Capsule Aggregation for Unaligned Multimodal Sequences [16.679793708015534]
本稿では,グラフベースのニューラルモデルとカプセルネットワークを用いた非整合マルチモーダルシーケンスをモデル化するために,Graph Capsule Aggregation(GraphCAGE)を導入する。
シーケンスデータをグラフに変換することにより、前述のRNNの問題を回避することができる。
さらに、Capsule Networkの集約機能とグラフベースの構造により、我々のモデルは解釈可能になり、長距離依存の問題をよりよく解決できる。
論文 参考訳(メタデータ) (2021-08-17T10:04:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。