論文の概要: Unifying Search and Recommendation in LLMs via Gradient Multi-Subspace Tuning

• arxiv url: http://arxiv.org/abs/2601.09496v1
• Date: Wed, 14 Jan 2026 14:03:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 18:59:20.419599
• Title: Unifying Search and Recommendation in LLMs via Gradient Multi-Subspace Tuning
• Title（参考訳）: グラディエントマルチサブスペースチューニングによるLCMの探索と勧告の統一
• Authors: Jujia Zhao, Zihan Wang, Shuaiqun Pan, Suzan Verberne, Zhaochun Ren,
• Abstract要約: Gradient Multi-Subspace Tuning (GEMS)は、検索とレコメンデーションタスクを統合する新しいフレームワークである。 GEMSは検索タスクとレコメンデーションタスクの両方において、最先端のベースラインを一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 33.69176756907003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Search and recommendation (S&R) are core to online platforms, addressing explicit intent through queries and modeling implicit intent from behaviors, respectively. Their complementary roles motivate a unified modeling paradigm. Early studies to unify S&R adopt shared encoders with task-specific heads, while recent efforts reframe item ranking in both S&R as conditional generation. The latter holds particular promise, enabling end-to-end optimization and leveraging the semantic understanding of LLMs. However, existing methods rely on full fine-tuning, which is computationally expensive and limits scalability. Parameter-efficient fine-tuning (PEFT) offers a more practical alternative but faces two critical challenges in unifying S&R: (1) gradient conflicts across tasks due to divergent optimization objectives, and (2) shifts in user intent understanding caused by overfitting to fine-tuning data, which distort general-domain knowledge and weaken LLM reasoning. To address the above issues, we propose Gradient Multi-Subspace Tuning (GEMS), a novel framework that unifies S&R with LLMs while alleviating gradient conflicts and preserving general-domain knowledge. GEMS introduces (1) \textbf{Multi-Subspace Decomposition}, which disentangles shared and task-specific optimization signals into complementary low-rank subspaces, thereby reducing destructive gradient interference, and (2) \textbf{Null-Space Projection}, which constrains parameter updates to a subspace orthogonal to the general-domain knowledge space, mitigating shifts in user intent understanding. Extensive experiments on benchmark datasets show that GEMS consistently outperforms the state-of-the-art baselines across both search and recommendation tasks, achieving superior effectiveness.
• Abstract（参考訳）: 検索とレコメンデーション(S&R)はオンラインプラットフォームの中核であり、クエリを通じて明示的なインテントに対処し、振る舞いから暗黙的なインテントをモデル化する。 彼らの補完的な役割は統一されたモデリングパラダイムを動機付けます。 S&Rをタスク固有の頭を持つ共有エンコーダに統一する初期の研究は、近年の取り組みは、条件生成としてS&Rの項目ランキングを再設定している。 後者は特に約束があり、エンドツーエンドの最適化を可能にし、LLMのセマンティック理解を活用する。 しかし、既存の手法は完全な微調整に依存しており、計算コストが高く、スケーラビリティが制限されている。 パラメータ効率の良い微調整(PEFT)は、より実用的な代替手段を提供するが、S&Rを統一する上で2つの重要な課題に直面している。(1) 異なる最適化目的によるタスク間の勾配の衝突、(2) 汎用知識を歪ませ、LLM推論を弱めるような微調整データへの過度な適合によるユーザ意図の理解の変化。 以上の問題に対処するため,グラディエント・マルチサブスペース・チューニング(GEMS, Gradient Multi-Subspace Tuning)を提案する。 GEMSは(1) \textbf{Multi-Subspace Decomposition}を導入し、(1)共有信号とタスク固有の最適化信号を相補的な低ランク部分空間に分解し、破壊的な勾配干渉を低減し、(2) \textbf{Null-Space Projection}は、一般知識空間に直交する部分空間へのパラメータ更新を制限し、ユーザ意図理解のシフトを緩和する。 ベンチマークデータセットの大規模な実験によると、GEMSは検索とレコメンデーションの両方で最先端のベースラインを一貫して上回り、優れた効率性を実現している。

関連論文リスト

• LLM-EDT: Large Language Model Enhanced Cross-domain Sequential Recommendation with Dual-phase Training [53.539682966282534]
  クロスドメインシーケンスレコメンデーション (CDSR) は、様々なドメインからの情報を取り入れることで、ユーザとイテムのインタラクションを強化するために提案されている。 現在の進歩にもかかわらず、不均衡問題と移行問題はCDSRのさらなる発展を妨げる。 デュアルフェーズトレーニング(LLM-EDT)によるLLMの拡張型クロスドメインシーケンスレコメンデーションを提案する。
  論文  参考訳（メタデータ） (2025-11-25T05:18:04Z)
• UR$^2$: Unify RAG and Reasoning through Reinforcement Learning [17.319590573147565]
  大規模言語モデル(LLM)は2つの相補的パラダイムを通じて顕著な能力を示してきた: 検索-拡張生成(RAG)と、検証リワード(RLVR)からの強化学習(Reinforcement Learning)である。 我々は、強化学習による検索と推論を統一する一般的なフレームワークUR2(Unified RAG and Reasoning)を提案する。 オープンドメインQA、MMLU-Pro、医学、数学的推論タスクにわたる実験は、UR$2$が既存のRAG法とRL法を大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2025-08-08T09:33:20Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• How to Alleviate Catastrophic Forgetting in LLMs Finetuning? Hierarchical Layer-Wise and Element-Wise Regularization [15.434072331989878]
  大きな言語モデル(LLM)は、強力な汎用言語能力を示す。 これらのモデルをドメイン固有のタスクで微調整すると、大惨な忘れがちになり、そこではモデルが事前訓練中に得られた重要な知識を上書きまたは失う。 本研究では,微調整時の一般知識の保存に不可欠なモデルパラメータの要素的重要性を計算するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T13:54:53Z)
• LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation [57.49045064294086]
  大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。 LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• Learning towards Synchronous Network Memorizability and Generalizability for Continual Segmentation across Multiple Sites [52.84959869494459]
  臨床実践では、複数のサイトから連続的なデータストリームを継続的に学習するために、セグメンテーションネットワークが必要であることが多い。 既存の方法は、通常、以前のサイトのネットワーク記憶可能性や、目に見えないサイトの一般化可能性に制限される。 本稿では,SMG学習フレームワークの提案により,同期記憶可能性と一般化可能性の問題に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2022-06-14T13:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。