論文の概要: Empowering Compact LLMs with Fusion of Layer-wise Exits for Recommendation

• arxiv url: http://arxiv.org/abs/2608.17316v2
• Date: Thu, 27 Aug 2026 12:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 14:16:51.382673
• Title: Empowering Compact LLMs with Fusion of Layer-wise Exits for Recommendation
• Title（参考訳）: レコメンデーションのための層状エキシクトの融合による小型LDMの強化
• Abstract要約: 大規模言語モデルベースレコメンデータシステム(LLM-RS)は目覚ましい能力を示しているが、現実の多くのアプリケーションでは計算的に持続不可能である。 本稿では,スケーラブルなフルコーパスランキングを維持しつつ,コンパクトなLLMを向上する識別フレームワークを提案する。 Qwen 3 1.7BとLlama 3.2 3Bの3つの実世界のデータセットの実験では、FLEXRecは高い効率を維持しながら最先端の精度を達成している。
• 参考スコア（独自算出の注目度）: 59.216721553953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model-based recommender systems (LLM-RSs) have demonstrated remarkable capabilities, but are computationally unsustainable for many real-world applications. Compact LLMs offer a practical alternative, yet their reduced capacity often requires reasoning or knowledge distillation methods that increase latency or depend on larger models. Combined with autoregressive generation, these approaches face severe scalability bottlenecks. In contrast, discriminative LLM-RSs enable efficient full-corpus ranking through embedding similarity, but compact backbones remain limited in expressiveness and structural adaptivity. We propose the Fusion of Layer-wise Exits for Sequential Recommendation (FLEXRec), a discriminative framework that enhances compact LLMs while retaining scalable full-corpus ranking. FLEXRec inserts prediction heads (i.e., exits) at multiple transformer layers and adaptively fuses their score distributions. An adaptive continuous router (AC-Router) dynamically selects both the number and identity of exits for each user sequence, while a novel target-k hinge loss regulates routing sparsity. Experiments on three real-world datasets with Qwen 3 1.7B and Llama 3.2 3B show that FLEXRec achieves state-of-the-art accuracy among competing methods while remaining highly efficient. Code: https://github.com/xurong-liang/FLEXRec
• Abstract（参考訳）: 大規模言語モデルベースレコメンデータシステム(LLM-RS)は目覚ましい能力を示しているが、現実の多くのアプリケーションでは計算的に持続不可能である。 コンパクトLCMは実用的な代替手段を提供するが、その容量の削減には、遅延を増加させたり、より大きなモデルに依存するような推論や知識の蒸留法が必要となることが多い。 自動回帰生成と組み合わせることで、これらのアプローチは深刻なスケーラビリティのボトルネックに直面します。 対照的に、差別的LLM-RSは類似性を埋め込むことで効率的な完全コーパスランキングを可能にするが、コンパクトなバックボーンは表現性や構造適応性に制限される。 本稿では,スケーラブルな全コーパスランキングを維持しつつ,コンパクトなLCMを向上する識別フレームワークFLEXRecを提案する。 FLEXRecは複数の変圧器層に予測ヘッド(つまり出口)を挿入し、スコア分布を適応的に融合させる。 適応型連続ルータ(AC−ルータ)は、各ユーザシーケンスの出口の数と同一性の両方を動的に選択し、新規なターゲットkヒンジ損失はルーティング間隔を規制する。 Qwen 3 1.7B と Llama 3.2 3B による実世界の3つのデータセットの実験では、FLEXRec は高い効率を維持しながら競合する手法の最先端の精度を達成している。 コード:https://github.com/xurong-liang/FLEXRec

関連論文リスト

• Expert-Choice Routing Enables Adaptive Computation in Diffusion Language Models [11.628969213956502]
  専門家選択ルーティングはトークン選択ルーティングよりも拡散言語モデルに適していることを示す。 我々は、時間に依存した専門家の能力を導入します。 DLM MoEモデルでは,ECルーティングが優れたパラダイムとして確立されている。
  論文  参考訳（メタデータ） (2026-04-02T05:01:36Z)
• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• Empowering Large Language Model for Sequential Recommendation via Multimodal Embeddings and Semantic IDs [28.752042722391934]
  シークエンシャルレコメンデーション(SR)は,ユーザの動的関心や時系列パターンを過去のインタラクションに基づいて捉えることを目的としている。 MME-SIDは多モード埋め込みと量子埋め込みを統合し、埋め込み崩壊を緩和する。 3つの公開データセットに対する大規模な実験により、MME-SIDの優れた性能が検証された。
  論文  参考訳（メタデータ） (2025-09-02T07:02:29Z)
• ElasticMM: Efficient Multimodal LLMs Serving with Elastic Multimodal Parallelism [9.93378263858092]
  マルチモーダル大言語モデル(MLLM)は、特徴抽出器とプロジェクションモジュールを組み込むことで、画像、ビデオ、オーディオを扱う。 現在の密結合のサービスアーキテクチャは、混合要求タイプを区別するのに苦労しています。 本稿では,リソースの不均一性に弾力的に適応する新しいサービスパラダイムであるElastic Multimodal Parallelism(EMP)を紹介する。
  論文  参考訳（メタデータ） (2025-07-14T08:53:48Z)
• EdgeLoRA: An Efficient Multi-Tenant LLM Serving System on Edge Devices [7.596547050649462]
  本稿では,マルチテナント環境におけるエッジデバイス上での大規模言語モデル(LLM)の効率的な提供システムであるEdgeLoRAを紹介する。 EdgeLoRAは、(1)アダプタ設定プロセスを合理化するための適応型アダプタ選択機構、(2)インテリジェントなアダプタキャッシュとプーリングを活用してメモリ操作のオーバーヘッドを軽減する不均一なメモリ管理、(3)効率的なバッチ処理を可能にして計算遅延を大幅に削減するバッチLoRA推論という3つの重要なイノベーションを取り入れている。
  論文  参考訳（メタデータ） (2025-07-02T07:47:28Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• Accelerating LLM Inference with Flexible N:M Sparsity via A Fully Digital Compute-in-Memory Accelerator [5.985414012866983]
  固定N:M構造を持つ大言語モデル(LLM)はスパースモデルの表現性を制限している。 フレキシブルな層状外層密度対応N:Mスパシティ(FLOW)選択法を提案する。 次に、フレキシブルで低オーバーヘッドのデジタルコンピュートインメモリアーキテクチャ(FlexCiM)を紹介します。
  論文  参考訳（メタデータ） (2025-04-19T17:47:01Z)
• LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation [57.49045064294086]
  大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。 LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• MobiZO: Enabling Efficient LLM Fine-Tuning at the Edge via Inference Engines [28.18421624702502]
  本稿では,大規模言語モデル(LLM)のための資源効率の高い微調整フレームワークであるMobiZOを紹介する。 MobiZOは、微調整精度を向上しつつ、実行時の大幅な高速化とメモリ節約を実現する。 MobiZOは、微調整精度を向上しつつ、実行時の大幅なスピードアップとメモリ節約を実現している。
  論文  参考訳（メタデータ） (2024-09-23T20:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。