論文の概要: Deciding When to Rely on Visual Information: Gated Multimodal Fusion in Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2608.10700v1
• Date: Tue, 11 Aug 2026 09:21:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.990069
• Title: Deciding When to Rely on Visual Information: Gated Multimodal Fusion in Sequential Recommendation
• Title（参考訳）: 視覚情報に基づく時間決定:シークエンシャルレコメンデーションにおけるGated Multimodal Fusion
• Abstract要約: 視覚的有用性は、推奨品質に対する視覚信号の寄与として定義され、潜伏した文脈変数である、と我々は主張する。 本稿では、アイテム埋め込みとユーザの現在のシーケンスコンテキストに基づいて、適応的なアイテムレベルの融合決定を行うフレームワークであるVisGateを紹介する。 分析の結果、視覚的有用性は項目によって異なり、協調的な信号が弱い場合の相互作用の間隔が増加し、意味的に意味のある方法で視覚的特徴と相関することがわかった。
• 参考スコア（独自算出の注目度）: 11.00708060427092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal sequential recommender systems commonly fuse visual and collaborative signals uniformly, treating visual features as generically informative regardless of item or user context. We argue that visual utility, defined as the contribution of visual signals to recommendation quality, is a latent contextual variable that depends on both the item and the user's interaction history rather than a fixed item property. To model this variability, we introduce VisGate, a framework that makes adaptive item-level fusion decisions conditioned on item embeddings and the user's current sequence context. Visual representations are learned through a contrastive objective over sequential co-occurrence patterns, preserving complementarity with collaborative embeddings rather than aligning them into a shared space. Beyond achieving competitive recommendation performance, VisGate's learned gate serves as a measurement tool for understanding when and why visual information is beneficial. Our analyses show that visual utility varies across items, increases under interaction sparsity when collaborative signals are weak, and correlates with visual distinctiveness in semantically meaningful ways. Together, these findings highlight the importance of both fine-grained fusion and modality complementarity, while demonstrating that item-level visual utility can be estimated and interpreted through learned gating behaviour.
• Abstract（参考訳）: マルチモーダルシーケンシャルレコメンダシステムは、一般的に視覚的および協調的な信号を均一に融合し、視覚的特徴をアイテムやユーザコンテキストに関わらず汎用的な情報として扱う。 視覚的有用性は、視覚的信号の推薦品質への寄与として定義され、アイテムとユーザのインタラクション履歴に依存する潜在的文脈変数であり、固定アイテムプロパティよりもむしろユーザインタラクション履歴に依存している、と論じる。 この変数をモデル化するために、アイテム埋め込みとユーザの現在のシーケンスコンテキストに基づいて、適応的なアイテムレベルの融合決定を行うフレームワークであるVisGateを紹介した。 視覚表現は、連続的な共起パターンよりも対照的な目的を通じて学習され、共有空間に整列するのではなく、協調的な埋め込みと相補性を保つ。 VisGateの学習ゲートは、競争力のあるレコメンデーションパフォーマンスを達成するだけでなく、視覚情報が有益な時と理由を理解するための測定ツールとしても機能する。 分析の結果、視覚的有用性は項目によって異なり、協調的な信号が弱い場合の相互作用の間隔が増加し、意味的に意味のある方法で視覚的特徴と相関することがわかった。 これらの知見は, 微細な融合とモダリティの相補性の両方の重要性を強調しつつ, 学習したゲーティング行動を通じて, アイテムレベルの視覚的有用性を推定・解釈できることを実証した。

関連論文リスト

• Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
  本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。 注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。 被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:11:55Z)
• Visual and Semantic Prompt Collaboration for Generalized Zero-Shot Learning [58.73625654718187]
  一般化されたゼロショット学習は、異なるクラス間で共有される意味情報の助けを借りて、目に見えないクラスと見えないクラスの両方を認識することを目的としている。 既存のアプローチでは、視覚的バックボーンをルッククラスのデータで微調整し、セマンティックな視覚的特徴を得る。 本稿では,効率的な特徴適応のためのプロンプトチューニング技術を活用した,視覚的・意味的プロンプト協調フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-29T10:17:57Z)
• KGIF: Optimizing Relation-Aware Recommendations with Knowledge Graph Information Fusion [16.971592142597544]
  本研究は, 自己認識機構を用いて, エンティティと関係埋め込みを明示的にマージするように設計された, 特殊なフレームワークを提案する。 この明示的な融合は、ユーザとイテムの相互作用とアイテムと属性の関係の相互作用を強化し、ユーザ中心とアイテム中心の表現の微妙なバランスを与える。 この研究の貢献には、明示的な情報融合のための革新的な方法、スパース知識グラフの堅牢性の改善、解釈可能な経路可視化を通じて説明可能なレコメンデーションを生成する能力が含まれる。
  論文  参考訳（メタデータ） (2025-01-07T22:19:15Z)
• Enhancing Graph Contrastive Learning with Reliable and Informative Augmentation for Recommendation [84.45144851024257]
  離散コードによるより強力な協調情報を用いて、コントラスト的なビューを構築することにより、グラフのコントラスト学習を強化することを目的とした、新しいフレームワークを提案する。 中心となる考え方は、ユーザとアイテムを協調情報に富んだ離散コードにマッピングし、信頼性と情報に富んだコントラッシブなビュー生成を可能にすることである。
  論文  参考訳（メタデータ） (2024-09-09T14:04:17Z)
• Attend and Enrich: Enhanced Visual Prompt for Zero-Shot Learning [114.59476118365266]
  視覚表現豊か化のための意味強調プロンプトを抽出するための視覚的プロンプトに意味情報を付与するAENetを提案する。 AENetは、2つの重要なステップから構成される: 1) 視覚的・属性的モダリティの概念調和トークンを探索し、一貫した視覚的セマンティックな概念を表す様相共有トークンに基づく。
  論文  参考訳（メタデータ） (2024-06-05T07:59:48Z)
• Improving Content Recommendation: Knowledge Graph-Based Semantic Contrastive Learning for Diversity and Cold-Start Users [5.224122150536595]
  本稿では,複数タスクのハイブリッド学習手法を提案する。 我々のアプローチは、テキストからの意味情報を活用することにより、知識グラフ内のエンティティ間の関係をよりよく理解することを可能にする。
  論文  参考訳（メタデータ） (2024-03-27T15:11:00Z)
• Understanding Before Recommendation: Semantic Aspect-Aware Review Exploitation via Large Language Models [53.337728969143086]
  レコメンデーションシステムは、クリックやレビューのようなユーザとイテムのインタラクションを利用して表現を学習する。 従来の研究では、様々な側面や意図にまたがるユーザの嗜好をモデル化することで、推奨精度と解釈可能性を改善する。 そこで本研究では,意味的側面と認識的相互作用を明らかにするためのチェーンベースのプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2023-12-26T15:44:09Z)
• Visual Commonsense based Heterogeneous Graph Contrastive Learning [79.22206720896664]
  視覚的推論タスクをより良く仕上げるための異種グラフコントラスト学習法を提案する。 本手法はプラグイン・アンド・プレイ方式として設計されており,多種多様な代表手法と迅速かつ容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2023-11-11T12:01:18Z)
• A Clustering-guided Contrastive Fusion for Multi-view Representation Learning [7.630965478083513]
  本稿では、ビュー固有表現をビュー共通表現に融合する深層融合ネットワークを提案する。 また、ビュー共通表現とビュー固有表現を一致させる非対称なコントラスト戦略を設計する。 不完全な視点では,提案手法は競合相手よりもノイズ干渉に抵抗する。
  論文  参考訳（メタデータ） (2022-12-28T07:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。