論文の概要: Modular Representation Compression: Adapting LLMs for Efficient and Effective Recommendations
- arxiv url: http://arxiv.org/abs/2604.18146v2
- Date: Tue, 21 Apr 2026 07:16:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 14:04:47.940641
- Title: Modular Representation Compression: Adapting LLMs for Efficient and Effective Recommendations
- Title（参考訳）: Modular Representation Compression: 効率的かつ効果的なレコメンデーションのためのLLM適応
- Abstract要約: 大規模言語モデル(LLM)には高度なレコメンデーションシステム(RS)がある。
LLMのモジュラリティを明示的に制御するための MARC を提案する。
MARCは大規模な商用検索広告シナリオにおけるオンラインA/Bテストで2.82%のeCPMリフトを達成した。
- 参考スコア（独自算出の注目度）: 53.53864188270018
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently, large language models (LLMs) have advanced recommendation systems (RSs), and recent works have begun to explore how to integrate LLMs into industrial RSs. While most approaches deploy LLMs offline to generate and pre-cache augmented representations for RSs, high-dimensional representations from LLMs introduce substantial storage and computational costs. Thus, it is crucial to compress LLM representations effectively. However, we identify a counterintuitive phenomenon during representation compression: Mid-layer Representation Advantage (MRA), where representations from middle layers of LLMs outperform those from final layers in recommendation tasks. This degraded final layer renders existing compression methods, which typically compress on the final layer, suboptimal. We interpret this based on modularity theory that LLMs develop spontaneous internal functional modularity and force the final layer to specialize in the proxy training task. Thus, we propose \underline{M}odul\underline{a}r \underline{R}epresentation \underline{C}ompression (MARC) to explicitly control the modularity of LLMs. First, Modular Adjustment explicitly introduces compression and task adaptation modules, enabling the LLM to operate strictly as a representation-learning module. Next, to ground each module to its specific task, Modular Task Decoupling uses information constraints and different network structures to decouple tasks. Extensive experiments validate that MARC addresses MRA and produces efficient representations. Notably, MARC achieved a 2.82% eCPM lift in an online A/B test within a large-scale commercial search advertising scenario.
- Abstract（参考訳）: 近年,大規模言語モデル (LLMs) には高度なレコメンデーションシステム (RSs) が備わっており,最近の研究でLLMを産業用RSに統合する方法が検討されている。
LLMをオフラインでデプロイし、RSの生成と事前キャッシュを行うのに対して、LLMの高次元表現は相当なストレージと計算コストをもたらす。
したがって、LLM表現を効果的に圧縮することが重要である。
しかし、表現圧縮における直感的現象を識別する: 中層表現アドバンテージ(MRA)では、LLMの中間層からの表現は、推奨タスクにおいて最終層からの表現よりも優れている。
この劣化した最終層は、通常、最終層である準最適に圧縮する既存の圧縮メソッドを描画する。
我々は、LLMが自然に内部機能的モジュラリティを発達させ、最終層にプロキシトレーニングタスクを専門化させるというモジュラリティ理論に基づいてこれを解釈する。
そこで我々は, LLMのモジュラリティを明示的に制御するために, \underline{M}odul\underline{a}r \underline{R}epresentation \underline{C}ompression (MARC)を提案する。
まず、Modular Adjustmentは明示的に圧縮およびタスク適応モジュールを導入し、LLMは表現学習モジュールとして厳密に動作するようにした。
次に、各モジュールを特定のタスクに固定するために、Modular Task Decouplingは情報制約と異なるネットワーク構造を使ってタスクを分離する。
大規模な実験は、MARCがMRAに対処し、効率的な表現を生成することを検証する。
特に、MARCは大規模な商用検索広告シナリオにおけるオンラインA/Bテストで2.82%のeCPMリフトを達成した。
関連論文リスト
- LLM-MemCluster: Empowering Large Language Models with Dynamic Memory for Text Clustering [52.41664454251679]
大規模言語モデル(LLM)は、テキストクラスタリングを行う前例のない能力を提供することで、教師なしの学習を再構築している。
既存のメソッドは、しばしば外部モジュールを持つ複雑なパイプラインに依存し、真にエンドツーエンドのアプローチを犠牲にする。
LLM-MemClusterは,クラスタリングをLLMネイティブタスクとして再認識する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-11-19T13:22:08Z) - When Transformers Meet Recommenders: Integrating Self-Attentive Sequential Recommendation with Fine-Tuned LLMs [0.0]
SASRecLLMは、Low-Rank Adaptation (LoRA)を使用して微調整されたLLMで、SASRecをコラボレーティブエンコーダとして統合する新しいフレームワークである。
複数のデータセットの実験によると、SASRecLLMは、コールドスタートとウォームスタートの両方のシナリオにおいて、強いベースラインよりも堅牢で一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2025-07-08T07:26:55Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳（メタデータ） (2025-02-15T02:55:22Z) - AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning [19.68349294206012]
大規模言語モデル(LLM)は、画像やビデオなどの視覚的データの強力な理解を示すマルチモーダルLLMの作成を可能にする。
多様な効率要件を満たすマルチモーダルLCMの学習自由適応推論法を提案する。
論文 参考訳（メタデータ） (2024-12-04T11:47:57Z) - Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。
セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。
本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
論文 参考訳（メタデータ） (2024-06-14T19:24:00Z) - Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。
Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
論文 参考訳（メタデータ） (2024-05-23T08:33:19Z) - Looking Right is Sometimes Right: Investigating the Capabilities of Decoder-only LLMs for Sequence Labeling [0.0]
最近のデコーダのみの大規模言語モデル(LLM)は、より小さなステートベースのエンコーダと同等に動作する。
因果マスクを階層的に除去することで,IEタスク上でのオープンLLMのSL性能を向上させる手法について検討する。
その結果,層依存性CM除去によるオープンLCMは,強いエンコーダや命令調整LDMよりも優れていた。
論文 参考訳（メタデータ） (2024-01-25T22:50:48Z) - CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without
Full Large Language Model [22.870512676002463]
本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。
これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。
以上の結果から,CRaShとOFTの有効性が明らかとなった。
論文 参考訳（メタデータ） (2023-10-24T03:08:58Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳（メタデータ） (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。