論文の概要: Tackling the Modality Inhibitance Effect with Wavelet-based Modality Integration in Multi-modal Recommendation

• arxiv url: http://arxiv.org/abs/2610.16229v1
• Date: Mon, 12 Oct 2026 06:05:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 06:57:43.203749
• Title: Tackling the Modality Inhibitance Effect with Wavelet-based Modality Integration in Multi-modal Recommendation
• Title（参考訳）: マルチモーダル勧告におけるウェーブレットに基づくモダリティ統合によるモダリティ抑制効果の対処
• Abstract要約: 我々は、既存のマルチモーダルレコメンデーションシステムを制限する、モダリティ抑制効果を導入する。 本稿では,本質的なモダリティ特徴を活かしたマルチスケール・モダリティ・ウェーブレット(MMWave)を提案する。 4つの実世界のデータセットを用いて実験を行い,提案モデルの有効性を検証した。
• 参考スコア（独自算出の注目度）: 10.585115972712302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Harnessing rich modality features has recently gained prominence in multi-modal recommendation systems (MRSs). To delineate user modality preferences, existing works focus on modality fusion, which can be achieved via attentive summation or concatenation. In this work, we introduce the modality inhibitance effect - a phenomenon which limits existing MRSs when these models transit from dual-modal to tri-modal configurations resulting in significant performance degradation. In particular, apart from the modal-specific contamination encapsulated in the newly introduced modality, the inclusion of new features results in excessive informational redundancy, thereby severely impeding effective integration within current approaches. To address the modality inhibitance effect, we propose a new multi-scale modality wavelet (MMWave) multi-modal recommender, which aims to fully capitalize on essential modality features and suppress modal-specific noise. This is acheived by employing wavelet decomposition from a multi-scale (time \& frequency) perspective, ensuring that only essential (non-redundant) features of each modality are extracted. We then account for the latent associations between item modality features by designing a new structure-aware multi-modal graph learning module that captures high-order latent structural information pertaining to items. To modulate the relative contributions of modality features and achieve effective integration, we then propose a new adaptive modality regulator component that employs a new cross-weight integration strategy. Experiments conducted on four real-world datasets validate the efficacy of our proposed model. The source code for this work has been made publicly available at https://github.com/kennethorq/MMWave.
• Abstract（参考訳）: マルチモーダルレコメンデーションシステム (MRS) において, リッチモダリティの特徴の調和が注目されている。 ユーザーモダリティの嗜好を明確にするために、既存の作品は、注意深い和や結合によって達成できるモダリティの融合に焦点を当てている。 本研究では, モデルが2モーダルから3モーダルに遷移すると, 性能が著しく低下する現象であるモーダリティ抑制効果を紹介する。 特に、新しく導入されたモダリティにカプセル化されたモーダル特異的な汚染は別として、新しい特徴を組み込むことで過剰な情報冗長性が得られ、現在のアプローチにおける効果的な統合を著しく阻害する。 モーダル性抑制効果に対処するため,本質的なモーダル性特徴を十分に活用し,モーダル特有の雑音を抑制することを目的としたマルチスケールモーダル・ウェーブレット (MMWave) を提案する。 これは、マルチスケール(時間および周波数)の観点からウェーブレット分解を用いることで、各モードの本質的な(非冗長な)特徴のみを抽出することを保証する。 次に、アイテムに関連する高次遅延構造情報をキャプチャする構造対応マルチモーダルグラフ学習モジュールを設計することにより、アイテムモダリティの特徴間の潜時関連を考慮した。 モーダリティ特徴の相対的寄与を変調し、効果的な統合を実現するため、我々は新しいクロスウェイト統合戦略を採用した適応モーダリティ規制コンポーネントを提案する。 4つの実世界のデータセットを用いて実験を行い,提案モデルの有効性を検証した。 この作業のソースコードはhttps://github.com/kennethorq/MMWave.comで公開されている。

関連論文リスト

• MODAL: Multi-Modal Object Re-ID via Model-Driven Sparse Decoupling and Text-Image Differential Filtering [51.99452481869329]
  MODALは、スパース符号理論と微分抑圧原理を組み合わせた、新しいマルチモーダルオブジェクト再識別フレームワークである。 MODALの中核となるコンポーネントは、モデル駆動のディープアンロール方式で開発されたマルチモーダル特徴スパースデカップリングモジュールである。 MODALは原則的な機能障害から恩恵を受け、不完全なモダリティシナリオにおけるパフォーマンス低下を自然に軽減します。 4つのデータセットの実験では、MODALが最先端のパフォーマンスを達成し、透明性が優れていることが示されている。
  論文  参考訳（メタデータ） (2026-08-15T07:41:10Z)
• Plug, Play, and Fortify: A Low-Cost Module for Robust Multimodal Image Understanding Models [6.350443894942629]
  MWAM(Multimodal Weight Allocation Module)は、トレーニング中の各ブランチのコントリビューションを動的に再バランスするプラグイン・アンド・プレイコンポーネントである。 MWAMは幅広いタスクとモダリティの組み合わせで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-02-26T05:51:41Z)
• Amplifying Prominent Representations in Multimodal Learning via Variational Dirichlet Process [55.91649771370862]
  ディリクレ過程(DP)混合モデルは、最も顕著な特徴を増幅できる強力な非パラメトリック法である。 本稿では,DP駆動型マルチモーダル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-23T16:53:24Z)
• Reducing Unimodal Bias in Multi-Modal Semantic Segmentation with Multi-Scale Functional Entropy Regularization [66.10528870853324]
  高精度な予測タスクのための新しいセンサからのマルチモーダル入力の再利用とバランスが重要である。 1つの大きな制限は、マルチモーダルフレームワークが容易に学習可能なモダリティに過度に依存する傾向があることである。 本稿では,機能的エントロピーに基づくプラグ・アンド・プレイ正規化項を提案する。
  論文  参考訳（メタデータ） (2025-05-10T12:58:15Z)
• Spectrum-based Modality Representation Fusion Graph Convolutional Network for Multimodal Recommendation [7.627299398469962]
  本稿では,新しいスペクトルベースのモダリティ表現グラフレコメンデータを提案する。 モダリティノイズを同時に抑制しながら、ユニモーダルとフュージョンの両方の好みを捉えることを目的としている。 実世界の3つのデータセットを用いた実験により,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2024-12-19T15:53:21Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• What Makes for Robust Multi-Modal Models in the Face of Missing Modalities? [35.19295402483624]
  我々は、情報理論の観点から、欠落するモダリティに遭遇するマルチモーダルモデルのシナリオをモデル化する。 UME-MMA(Uni-Modal Ensemble with Missing Modality Adaptation)を紹介する。 UME-MMAは、マルチモーダルモデルのための一様事前訓練重みを用いて特徴抽出を強化し、欠落したモダリティデータ拡張技術を用いて、モダリティのない状況に適応する。
  論文  参考訳（メタデータ） (2023-10-10T07:47:57Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。