論文の概要: IMFuse: Instance-Aware Multi-Layer Fusion for LLM-Enhanced Sequential Recommendation
- arxiv url: http://arxiv.org/abs/2607.27002v1
- Date: Wed, 29 Jul 2026 14:58:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.709761
- Title: IMFuse: Instance-Aware Multi-Layer Fusion for LLM-Enhanced Sequential Recommendation
- Title(参考訳): IMFuse: LLM強化シーケンスレコメンデーションのためのインスタンス対応多層核融合
- Abstract要約: IMFuseはシーケンシャルレコメンデーションのためのインスタンス対応多層融合戦略である。
グローバル次元の層選好を学習することで、多層意味情報を集約する。
常に最先端のベースラインを上回り、平均的な相対的な改善は6.72%である。
- 参考スコア(独自算出の注目度): 12.812732809987436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in Large Language Models (LLMs) have significantly enhanced sequential recommendation by encoding rich item textual information into semantic representations. However, existing methods typically rely on the final-layer hidden states of LLMs, overlooking potentially useful semantic signals encoded in other layers. Through empirical analysis, we reveal the limitations of this practice: final-layer representations often suffer from dimensional collapse, whereas intermediate layers preserve complementary, coarse-to-fine semantic knowledge. Furthermore, we observe that different items exhibit heterogeneous layer-wise representation evolution, making a uniform layer selection sub-optimal. To bridge this gap, we propose IMFuse, an instance-aware multi-layer fusion strategy designed for LLM-enhanced recommendation. Instead of relying on a single layer, IMFuse adaptively aggregates multi-layer semantic information by learning global dimension-wise layer preferences to capture general semantic contributions. To address item-level heterogeneity, IMFuse introduces an instance-aware expert modulation mechanism that dynamically adjusts these global preferences, generating personalized, item-specific semantic representations. Extensive experiments across four real-world datasets demonstrate the effectiveness of IMFuse. It consistently outperforms state-of-the-art baselines with an average relative improvement of 6.72%, while introducing limited parameter and computational overhead.
- Abstract(参考訳): 近年のLarge Language Models(LLM)の進歩は、リッチアイテムのテキスト情報を意味表現にエンコードすることで、シーケンシャルなレコメンデーションを大幅に強化している。
しかし、既存の手法は一般的にLLMの最終層に隠された状態に依存し、他の層に符号化された潜在的に有用な意味信号を見渡す。
最終層表現はしばしば次元的崩壊に悩まされるが、中間層は相補的で粗い意味的知識を保っている。
さらに,各項目が異質な層ワイド表現の進化を示し,一様層選択を準最適とした。
このギャップを埋めるため,LLMを推奨するインスタンス対応多層融合戦略であるIMFuseを提案する。
IMFuseは単一の層に頼る代わりに、グローバル次元の層選好を学習して多層セマンティック情報を適応的に集約し、一般的なセマンティックコントリビューションをキャプチャする。
アイテムレベルの不均一性に対処するため、IMFuseは、これらのグローバルな嗜好を動的に調整し、パーソナライズされたアイテム固有のセマンティック表現を生成する、インスタンス対応の専門家変調機構を導入した。
4つの実世界のデータセットにわたる大規模な実験は、IMFuseの有効性を実証している。
一定のパラメータと計算オーバーヘッドを導入しながら、平均的な6.72%の改善で最先端のベースラインを一貫して上回っている。
関連論文リスト
- Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models [51.099179436350376]
マルチモーダルな大言語モデル(MLLM)は、その堅牢な意味理解のために、法医学においてますます採用されている。
本稿では,人工物固有の視覚信号を中間層に残路として注入しながら,初期意味処理を保存するためのDeep Visual Residual MLLM(Deep-VRM)を提案する。
これにより、後続のレイヤは意味論的推論と信号レベルの法医学的手がかりを共同でモデル化することができ、驚くべきことに、モデルが入力に応じて異なるレベルの法医学的信号を適応的に活用することを学ぶ。
論文 参考訳(メタデータ) (2026-06-14T16:05:45Z) - Topology-Aware Layer Pruning for Large Vision-Language Models [21.06771347736129]
LVLM(Large Vision-Language Models)は、計算とメモリのコストを大幅に削減する。
既存のレイヤプルーニングメソッドは、通常、ローカルな類似度メトリクスや静的プロキシ信号に依存する。
LVLMのためのトポロジ対応層プルーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-14T14:36:53Z) - Adaptive Global and Fine-Grained Perceptual Fusion for MLLM Embeddings Compatible with Hard Negative Amplification [49.109117617514066]
マルチモーダル埋め込みは、視覚と言語を整合させるブリッジとして機能する。
MLLM埋め込みのための適応的グローバルおよび微粒な知覚融合法を提案する。
AGFF-Embedは、総合的および微粒な理解において、最先端のパフォーマンスを包括的に達成する。
論文 参考訳(メタデータ) (2026-02-05T14:52:35Z) - ParaUni: Enhance Generation in Unified Multimodal Model with Reinforcement-driven Hierarchical Parallel Information Interaction [55.21514454560188]
統一マルチモーダルモデルでは、視覚の粒度モデル(VLM)と拡散モデルを組み合わせることで、視覚生成を著しく改善する。
既存の手法は、表現の差が大きいため、十分な相互作用と柔軟な実装のバランスをとるのに苦労する。
我々は,textbfParallel方式でVLMの変形層から特徴を抽出し,包括的情報インタラクションを実現するtextbfParaUniを提案する。
論文 参考訳(メタデータ) (2025-12-05T04:41:57Z) - RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging [33.22889542330089]
大規模言語モデル(LLM)の内部表現は、学習知識の信頼できるプロキシとして機能する。
本稿では,過去データにアクセスせずに連続的な学習を行うための表現認識モデル統合フレームワークRECALLを提案する。
論文 参考訳(メタデータ) (2025-10-23T12:17:37Z) - Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs [56.76586846269894]
MLLM(Multimodal Large Language Models)は、様々な領域で成功している。
その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究はほとんど未調査のままである。
専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。
論文 参考訳(メタデータ) (2025-06-30T15:07:41Z) - Multimodal Language Models See Better When They Look Shallower [54.5303326937134]
マルチモーダル大言語モデル(MLLM)は、通常、事前訓練された視覚変換器(ViT)の最終層から視覚的特徴を抽出する。
MLLMの視覚層選択に関する最初の総合的研究を行い,VT層間の表現類似性を解析した。
我々は、深い層がOCRのようなセマンティックリッチなタスクに優れているのに対して、浅い層と中層の層は、きめ細かい視覚的なタスクでそれらを著しく上回っていることに気付きました。
論文 参考訳(メタデータ) (2025-04-30T09:07:10Z) - Layer-Aware Embedding Fusion for LLMs in Text Classifications [1.4250487522292254]
層認識型埋め込み選択法を提案し, 異なる層を定量的に評価し, 下流のNLPタスクにおいて最も重要なものを特定する方法について検討する。
4つの英語テキスト分類データセットの実験により、LLMの異なる層は、分類のための表現力の度合いが異なることが示された。
また、モデル微調整を必要とせず、複数のLLMからの埋め込みを組み合わせることで、パフォーマンスが向上する可能性についても検討する。
論文 参考訳(メタデータ) (2025-04-08T07:45:50Z) - GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot
Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。
生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。
本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-05T04:04:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。