論文の概要: Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation

• arxiv url: http://arxiv.org/abs/2504.10538v1
• Date: Sun, 13 Apr 2025 07:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:10:51.296584
• Title: Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation
• Title（参考訳）: マルチモーダルセッションベース推薦のための大規模言語モデルへの遷移パターンの蒸留
• Authors: Jiajie Su, Qiyong Zhong, Yunshan Ma, Weiming Liu, Chaochao Chen, Xiaolin Zheng, Jianwei Yin, Tat-Seng Chua,
• Abstract要約: セッションベースのレコメンデーション(SBR)は、匿名セッションに基づいて次の項目を予測する。 近年のMultimodal SBR法は、モダリティ学習に単純化された事前学習モデルを用いるが、セマンティック・リッチネスに制限がある。 蒸留パラダイムを拡張し,MSBRの促進のための遷移パターンを分離・整合させる多モードLCM拡張フレームワークTPADを提案する。
• 参考スコア（独自算出の注目度）: 67.84581846180458
• License:
• Abstract: Session-based recommendation (SBR) predicts the next item based on anonymous sessions. Traditional SBR explores user intents based on ID collaborations or auxiliary content. To further alleviate data sparsity and cold-start issues, recent Multimodal SBR (MSBR) methods utilize simplistic pre-trained models for modality learning but have limitations in semantic richness. Considering semantic reasoning abilities of Large Language Models (LLM), we focus on the LLM-enhanced MSBR scenario in this paper, which leverages LLM cognition for comprehensive multimodal representation generation, to enhance downstream MSBR. Tackling this problem faces two challenges: i) how to obtain LLM cognition on both transitional patterns and inherent multimodal knowledge, ii) how to align both features into one unified LLM, minimize discrepancy while maximizing representation utility. To this end, we propose a multimodal LLM-enhanced framework TPAD, which extends a distillation paradigm to decouple and align transitional patterns for promoting MSBR. TPAD establishes parallel Knowledge-MLLM and Transfer-MLLM, where the former interprets item knowledge-reflected features and the latter extracts transition-aware features underneath sessions. A transitional pattern alignment module harnessing mutual information estimation theory unites two MLLMs, alleviating distribution discrepancy and distilling transitional patterns into modal representations. Extensive experiments on real-world datasets demonstrate the effectiveness of our framework.
• Abstract（参考訳）: セッションベースのレコメンデーション(SBR)は、匿名セッションに基づいて次の項目を予測する。 従来のSBRは、IDコラボレーションや補助コンテンツに基づいたユーザ意図を探索する。 近年のMultimodal SBR (Multimodal SBR) 法では, モダリティ学習において, 単純化した事前学習モデルを用いるが, 意味的豊かさには制限がある。 大規模言語モデル(LLM)のセマンティック推論能力を考慮すると,LLMの認識を総合的マルチモーダル表現生成に活用し,下流MSBRを向上するLLM拡張MSBRシナリオに着目した。 この問題に取り組むには2つの課題がある。 一 過渡的パターン及び本質的マルチモーダル知識の両面からLLM認知を得る方法 二 両機能を一つの統一LLMに整合させ、表現ユーティリティを最大化しつつ、相違を最小限にする方法 そこで本研究では,MSBRの促進のための遷移パターンを分離・整合させるため,蒸留パラダイムを拡張したマルチモーダルLLM拡張フレームワークTPADを提案する。 TPADは並列知識MLLMとTransfer-MLLMを確立する。 相互情報推定理論を利用した遷移パターンアライメントモジュールは、2つのMLLMを単位とし、分散の相違を緩和し、遷移パターンをモーダル表現に蒸留する。 実世界のデータセットに関する大規模な実験は、我々のフレームワークの有効性を実証している。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [56.08867996209236]
  フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。 マルチモーダルな異種シナリオにおけるMLLMのファインチューニング性能を評価するためのベンチマークを提案する。 従来のFL手法を2つのモダリティに依存しない戦略と組み合わせた一般的なFedMLLMフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-11-22T04:09:23Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。 また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Harnessing Multimodal Large Language Models for Multimodal Sequential Recommendation [21.281471662696372]
  本稿では,MLLM-MSRモデルを提案する。 動的ユーザの嗜好を捉えるために,2段階のユーザ選好要約法を設計する。 次に、ユーザ嗜好の動的変化を捉えるために、繰り返しユーザー嗜好要約生成パラダイムを用いる。
  論文  参考訳（メタデータ） (2024-08-19T04:44:32Z)
• A Practice-Friendly LLM-Enhanced Paradigm with Preference Parsing for Sequential Recommendation [15.153844486572932]
  本稿では、シーケンシャルレコメンデータシステム(SRS)のための優先構文解析(P2Rec)を用いた実践的LLM拡張パラダイムを提案する。 具体的には、情報再構成段階において、事前学習したSRSモデルの助けを借りて、協調的な情報注入のための新しいユーザレベルSFTタスクを設計する。 我々のゴールは、LLMが各ユーザのインタラクションシーケンスから対応する優先度分布を再構築することを学ばせることである。
  論文  参考訳（メタデータ） (2024-06-01T07:18:56Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。