論文の概要: ACE: Anisotropy-Controllable Embedding for LLM-enhanced Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2605.29322v1
• Date: Thu, 28 May 2026 03:56:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 00:00:30.942775
• Title: ACE: Anisotropy-Controllable Embedding for LLM-enhanced Sequential Recommendation
• Title（参考訳）: ACE: LLM強化シーケンスレコメンデーションのための異方性制御可能な埋め込み
• Authors: Dongcheol Lee, Hye-young Kim, Jongwuk Lee,
• Abstract要約: 異方性-制御可能な埋め込み(ACE)は、LDM生成した埋め込みの異方性を明示的に制御する。 ACEは既存のLLM強化SRモデルより一貫して優れている。
• 参考スコア（独自算出の注目度）: 13.806961330618243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in the LLM-as-Extractor paradigm leverage large language models (LLMs) to transfer semantically rich item embeddings into sequential recommendation (SR) backbones. However, LLM-generated embeddings often suffer from strong anisotropy. Most vectors are concentrated in similar directions, resulting in a geometric imbalance that makes it difficult to adapt to collaborative signals during fine-tuning. To address this challenge, we propose Anisotropy-Controllable Embedding (ACE), which explicitly controls the anisotropy of LLM-generated embeddings. Specifically, ACE utilizes a linear autoencoder (LAE) to reshape the embedding distribution while preserving its semantic structure. In this process, the L2-regularization term mitigates the anisotropy by controlling the dispersion of embedding dimensions, while the reconstruction loss maintains semantic relationships among items. That is, ACE balances geometric uniformity and semantic embedding preservation for more stable learning. Extensive experiments demonstrate that ACE consistently outperforms existing LLM-enhanced SR models, yielding improvements of up to 12.4% and 11.8% in Recall@20 and NDCG@20, respectively.
• Abstract（参考訳）: LLM-as-Extractorパラダイムの最近の進歩は、意味的に豊かなアイテム埋め込みを逐次レコメンデーション(SR)バックボーンに転送するために、大きな言語モデル(LLM)を活用している。 しかし、LDM生成の埋め込みは強い異方性に悩まされることが多い。 ほとんどのベクトルは同様の方向に集中しており、幾何学的不均衡が生じ、微調整中に協調的な信号に適応することが困難になる。 この課題に対処するために,LLM 生成した埋め込みの異方性を明確に制御する Anisotropy-Controllable Embedding (ACE) を提案する。 具体的には、線形オートエンコーダ(LAE)を用いて、その意味構造を保ちながら埋め込み分布を再構成する。 この過程において、L2正規化項は埋め込み次元の分散を制御して異方性を緩和し、再構成損失はアイテム間の意味的関係を維持する。 すなわち、ACEはより安定した学習のために幾何学的均一性とセマンティック埋め込み保存のバランスをとる。 大規模な実験では、ACEは既存のLLM強化SRモデルより一貫して優れており、それぞれRecall@20とNDCG@20で最大12.4%、11.8%改善している。

関連論文リスト

• Janus-LoRA: A Balanced Low-Rank Adaptation for Continual Learning [122.06915301391616]
  Low-Rank Adaptation (LoRA)は、継続的学習のための有望なパラダイムとして登場した。 このバランスを2つの新しいコンポーネントを通して復元するフレームワークである textbfJanus-LoRA を提案する。
  論文  参考訳（メタデータ） (2026-05-27T13:53:14Z)
• Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
  本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。 ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。 HERLは最先端のアプローチよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-18T10:50:46Z)
• Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy [50.63908869296697]
  複数のローランド適応(LoRA)モジュールを統合することで汎用システムの構築が期待できる。 優先重み付きクロスエントロピー擬似空間を用いて重みを重み付けするTARA-Mergingを提案する。 8つのビジョンと6つのNLIベンチマークで、TARA-MergingはバニラとLoRA対応のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-03-27T11:07:46Z)
• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• Recurrent Equivariant Constraint Modulation: Learning Per-Layer Symmetry Relaxation from Data [36.287199718605]
  等価ニューラルネットワークは、基礎となるタスク対称性を利用して一般化を改善する。 本稿では,レイヤワイド制約変調機構であるRecurrent Equivariant ConstraintModulation (RECM)を提案する。 RECMは、トレーニング信号と各層の入力ターゲット分布の対称性からのみ適切な緩和レベルを学習する。
  論文  参考訳（メタデータ） (2026-02-02T21:59:35Z)
• SAGE: Sequence-level Adaptive Gradient Evolution for Generative Recommendation [8.54123828673921]
  本稿では,リストワイド生成レコメンデーションに適した統一最適化フレームワークを提案する。 シーケンスレベルの信号デカップリング: 幾何平均的重要性比と分離された多目的の利点を組み合わせることにより、トークンレベルの分散を排除します。 非対称適応ダイナミクス: 超線形更新を実現するために、高強度冷間開始項目に「ブーストファクタ」を適用した動的勾配多様体を構築する。
  論文  参考訳（メタデータ） (2026-01-29T09:30:13Z)
• AGZO: Activation-Guided Zeroth-Order Optimization for LLM Fine-Tuning [8.698253005940503]
  アクティベーション誘導ゼロ階最適化(AGZO)を提案する。 従来の方法とは異なり、AGZOは前方通過中にフライ上のコンパクトな活性化インフォームド部分空間を抽出し、この低ランク部分空間に摂動を制限する。 AGZOは、最先端のZOベースラインを一貫して上回り、一階ファインチューニングによるパフォーマンスギャップを著しく狭めている。
  論文  参考訳（メタデータ） (2026-01-24T02:28:15Z)
• Solving the Granularity Mismatch: Hierarchical Preference Learning for Long-Horizon LLM Agents [56.625878022978945]
  自律的なエージェントとしての大規模言語モデル(LLM)は、複雑で長期にわたる問題の解決にますます取り組まれている。 直接優先度最適化(DPO)は、正確なクレジット代入には大きすぎる信号を提供するが、ステップレベルのDPOは、しばしば、複数のステップの振る舞いの値をキャプチャするには、筋が通らない。 階層的選好学習(HPL)は、複数の相乗的粒度における選好信号を活用することで、LLMエージェントを最適化する階層的フレームワークである。
  論文  参考訳（メタデータ） (2025-09-26T08:43:39Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。