論文の概要: AlphaFuse: Learn ID Embeddings for Sequential Recommendation in Null Space of Language Embeddings
- arxiv url: http://arxiv.org/abs/2504.19218v2
- Date: Tue, 29 Apr 2025 12:59:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.185513
- Title: AlphaFuse: Learn ID Embeddings for Sequential Recommendation in Null Space of Language Embeddings
- Title（参考訳）: AlphaFuse: 言語埋め込みのNull空間におけるシーケンシャルレコメンデーションのためのID埋め込みを学ぶ
- Authors: Guoqing Hu, An Zhang, Shuo Liu, Zhibo Cai, Xun Yang, Xiang Wang,
- Abstract要約: 我々はAlphaFuseを紹介した。AlphaFuseは、言語埋め込みのヌル空間内でID埋め込みを学習する言語誘導学習戦略である。
具体的には、Singular Value Decomposition (SVD)を介して言語埋め込みのセマンティック空間を分解し、セマンティックリッチな行空間とセマンティックスパースヌル空間とを区別する。
AlphaFuseはセマンティックスペースの劣化を防ぎ、保持された言語埋め込みを最終項目の埋め込みに統合し、補助的なトレーニング可能なモジュールを不要にする。
- 参考スコア（独自算出の注目度）: 17.531288777723297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in sequential recommendation have underscored the potential of Large Language Models (LLMs) for enhancing item embeddings. However, existing approaches face three key limitations: 1) the degradation of the semantic space when high-dimensional language embeddings are mapped to lower-dimensional ID embeddings, 2) the underutilization of language embeddings, and 3) the reliance on additional trainable parameters, such as an adapter, to bridge the gap between the semantic and behavior spaces. In this paper, we introduce AlphaFuse, a simple but effective language-guided learning strategy that addresses these challenges by learning ID embeddings within the null space of language embeddings. Specifically, we decompose the semantic space of language embeddings via Singular Value Decomposition (SVD), distinguishing it into a semantic-rich row space and a semantic-sparse null space. Collaborative signals are then injected into the null space, while preserving the rich semantics of the row space. AlphaFuse prevents degradation of the semantic space, integrates the retained language embeddings into the final item embeddings, and eliminates the need for auxiliary trainable modules, enabling seamless adaptation to any sequential recommendation framework. We validate the effectiveness and flexibility of AlphaFuse through extensive experiments on three benchmark datasets, including cold-start user and long-tail settings, showcasing significant improvements in both discriminative and diffusion-based generative sequential recommenders. Our codes and datasets are available at https://github.com/Hugo-Chinn/AlphaFuse.
- Abstract（参考訳）: シーケンシャルなレコメンデーションの最近の進歩は、アイテムの埋め込みを強化するためのLarge Language Models (LLMs) の可能性を強調している。
しかし、既存のアプローチは3つの重要な制限に直面している。
1) 高次元言語埋め込みを低次元ID埋め込みにマッピングする際の意味空間の劣化。
2)言語埋め込みの未利用化,及び
3) セマンティクスと振舞い空間の間のギャップを埋めるために、アダプタのようなトレーニング可能な追加パラメータに依存する。
本稿では,言語埋め込みのヌル空間内でID埋め込みを学習することで,これらの課題に対処する,シンプルだが効果的な言語指導型学習戦略であるAlphaFuseを紹介する。
具体的には、Singular Value Decomposition (SVD)を介して言語埋め込みのセマンティック空間を分解し、セマンティックリッチな行空間とセマンティックスパースヌル空間とを区別する。
協調的な信号は、行空間のリッチなセマンティクスを保持しながら、ヌル空間に注入される。
AlphaFuseはセマンティックスペースの劣化を防ぎ、保持された言語埋め込みを最終項目の埋め込みに統合し、補助的なトレーニング可能なモジュールの必要性を排除し、シーケンシャルなレコメンデーションフレームワークへのシームレスな適応を可能にする。
コールドスタートユーザとロングテール設定を含む3つのベンチマークデータセットに対する広範な実験により,AlphaFuseの有効性と柔軟性を検証する。
私たちのコードとデータセットはhttps://github.com/Hugo-Chinn/AlphaFuse.comで公開されています。
関連論文リスト
- Language Representations Can be What Recommenders Need: Findings and Potentials [57.90679739598295]
先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示す。
この結果は、先進言語表現空間と効果的な項目表現空間との同型性を示唆している。
本研究は,自然言語処理とリコメンデーションシステムコミュニティの両方に刺激を与える言語モデリングと行動モデリングの関連性を強調した。
論文 参考訳（メタデータ） (2024-07-07T17:05:24Z) - GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane [53.388937705785025]
3Dオープンボキャブラリのシーン理解は、拡張現実とロボット応用の推進に不可欠である。
GOIは2次元視覚言語基礎モデルから3次元ガウススプラッティング(3DGS)に意味的特徴を統合するフレームワークである。
提案手法では,特徴空間内の超平面分割として特徴選択処理を扱い,クエリに関連性の高い特徴のみを保持する。
論文 参考訳（メタデータ） (2024-05-27T18:57:18Z) - Learnable Item Tokenization for Generative Recommendation [78.30417863309061]
LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。
LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
論文 参考訳（メタデータ） (2024-05-12T15:49:38Z) - SPACE-IDEAS: A Dataset for Salient Information Detection in Space Innovation [0.3017070810884304]
本研究では,空間領域に関連するイノベーションのアイデアから情報を検出するためのデータセットであるSPACE-IDEASを紹介する。
SPACE-IDEASのテキストは大きく異なり、非公式、技術的、学術的、ビジネス指向の書き込みスタイルを含んでいる。
手動でアノテートしたデータセットに加えて、大きな生成言語モデルを使ってアノテートされた拡張バージョンをリリースします。
論文 参考訳（メタデータ） (2024-03-25T17:04:02Z) - Discovering Low-rank Subspaces for Language-agnostic Multilingual
Representations [38.56175462620892]
ML-LM(ML-LM)は,ゼロショット言語間移動の顕著な能力を示す。
多言語埋め込み空間から言語固有の要素を投影する新しい視点を提案する。
本手法を適用すれば,ML-LMよりも一貫した改善が期待できることを示す。
論文 参考訳（メタデータ） (2024-01-11T09:54:11Z) - OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining [49.213120730582354]
言語モデルをスクラッチから事前学習する代わりに、既存の事前学習言語モデル(PLM)を語彙拡張と継続事前学習を通じて新しい言語に適応させることがより効率的な方法である。
我々は、新しいフレームワークを提案する: $textbfO$ne $textbfF$or $textbfA$ll。
論文 参考訳（メタデータ） (2023-11-15T10:40:45Z) - Language Models As Semantic Indexers [78.83425357657026]
本稿では,ジェネレーティブ言語モデルを用いてセマンティックIDを学習するための自己教師型フレームワークLMIndexerを紹介する。
学習したIDの質を検証し,推奨,製品検索,文書検索の3つの課題において有効性を示す。
論文 参考訳（メタデータ） (2023-10-11T18:56:15Z) - Towards Robust and Semantically Organised Latent Representations for
Unsupervised Text Style Transfer [6.467090475885798]
この摂動モデルを完成させるEPAAE(Perturbed Adrial AutoEncoders)を導入する。
これは、(a)スタイル的に類似した文をまとめるより優れた組織化された潜在空間を生み出すことを実証的に示す。
また、テキストスタイルの転送タスクをNLIデータセットに拡張し、これらのより複雑なスタイル定義がEPAAEによって最もよく学習されていることを示す。
論文 参考訳（メタデータ） (2022-05-04T20:04:24Z) - Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。
これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。
これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
論文 参考訳（メタデータ） (2022-03-16T11:06:50Z) - Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。
i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
論文 参考訳（メタデータ） (2020-08-20T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。