論文の概要: LaRec: Unleashing LLM-based Latent Reasoning for Generative Recommendation
- arxiv url: http://arxiv.org/abs/2607.24617v1
- Date: Mon, 27 Jul 2026 16:14:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.508162
- Title: LaRec: Unleashing LLM-based Latent Reasoning for Generative Recommendation
- Title(参考訳): LaRec: ジェネレーティブレコメンデーションのためのLLMベースの遅延推論
- Abstract要約: 潜伏推論は、連続的な潜伏空間内で考えることで効率のバランスをとることを目的としています。
LaRec$は、遅延推論の可能性を解き放つために設計された効率的な生成レコメンデーションフレームワークである。
複数のデータセットの実験によると、$LaRec$は既存のベースラインを同等の効率で大幅に上回っている。
- 参考スコア(独自算出の注目度): 27.643675369277858
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) have shown great promise in recommendation due to superior reasoning abilities. However, existing methods mainly rely on explicit Chain-of-Thought (CoT), resulting in verbose reasoning texts and inefficient response times. latent reasoning aims to balance efficiency by thinking within a continuous latent space, yet it faces two major challenges: (1) Lack of Fine-grained Supervision: Latent reasoning relies solely on feedback from the final labels, providing sparse supervisory signals that struggle to effectively guide the optimization of multiple hidden reasoning steps. (2) Single Reasoning Path: The deterministic nature of latent reasoning impedes the exploration of users' diverse interests and preferences, thereby limiting the recommendation capabilities of LLMs. To address these issues, we propose \textbf{$LaRec$}, an efficient generative recommendation framework designed to unleash the potential of latent reasoning in LLMs. $LaRec$ consists of two core stages: First, we design Latent Pre-training that empowers LLMs with latent reasoning capabilities by providing rich supervisory signals to the latent space reasoning via step-level alignment and process direction alignment. Second, we introduce Personalized RL-tuning. Specifically, we construct a personalized Gaussian Mixture Distribution for each user based on their historical interests. By randomly sampling distinct reasoning starting points from this distribution during training, we guide the LLMs to traverse diverse reasoning paths within the latent space, enabling efficient exploration of user's multi-faceted interests. Experiments on multiple datasets show that $LaRec$ significantly outperforms existing baselines with comparable efficiency.
- Abstract(参考訳): 大規模言語モデル(LLM)は、優れた推論能力のために推奨される大きな可能性を示しています。
しかし、既存の手法は主に明示的なCoT(Chain-of-Thought)に依存しており、冗長な推論テキストと非効率的な応答時間をもたらす。
潜伏推論は連続的な潜伏空間内で考えることで効率のバランスをとることを目的としているが、(1)細粒度スーパービジョンの欠如:潜伏推論は最終ラベルからのフィードバックにのみ依存し、隠れた複数の推論ステップの最適化を効果的に導くのに苦労する緩やかな監視信号を提供する。
2) 単一推論経路: 潜時推論の決定論的性質は, ユーザの多様な関心や嗜好の探索を妨げるため, LLMの推薦能力は制限される。
これらの問題に対処するため, LLM における潜伏推論の可能性を解き放つために, 効率的な生成レコメンデーションフレームワークである \textbf{$LaRec$} を提案する。
まず、ステップレベルのアライメントとプロセス方向アライメントを通じて、遅延空間の推論にリッチなスーパーバイザリー信号を提供することにより、潜在推論能力でLCMを増強する潜在事前トレーニングを設計します。
次に、パーソナライズされたRLチューニングを紹介する。
具体的には,その歴史的関心に基づいて,各ユーザに対してパーソナライズされたガウス混合分布を構築する。
学習中にこの分布から異なる推論開始点をランダムにサンプリングすることにより、LCMは潜在空間内の多様な推論経路を横切るように誘導し、ユーザの多面的関心事の効率的な探索を可能にする。
複数のデータセットの実験によると、$LaRec$は既存のベースラインを同等の効率で大幅に上回っている。
関連論文リスト
- Advantage-Guided Gate: Reshaping Open-Ended Reasoning for Vision-Based Spatial Intelligence [70.8951332710039]
マルチモーダル大言語モデル (MLLM) は複雑な空間的シーン理解と推論タスクにおいて有意な可能性を証明している。
しかし、彼らのオープンな推論プロセスは、意思決定の誤りやエラーの蓄積を招きやすいため、回答の品質が不安定になる。
本稿では,推論過程において動的に介入し,偏差を補正するアドバンテージ誘導型ゲーティングフレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-08T07:46:04Z) - Intuition-Guided Latent Reasoning for LLM-Based Recommendation [72.06271644558291]
EmphIntuRecは,emphrecommendationの直感で潜在的推論を固定するフレームワークである。
IntuRecは、複数の実世界のデータセットの実験において、最先端のベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-06-26T03:29:48Z) - Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。
本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。
本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
論文 参考訳(メタデータ) (2026-01-08T15:56:44Z) - Latent Reasoning in LLMs as a Vocabulary-Space Superposition [80.01651003144282]
大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトによる強力な推論能力を示すが、明示的な推論は計算上のオーバーヘッドを大幅に引き起こす。
遅延推論に関する最近の研究は、明示的な監督なしに遅延空間を推論することでコストを削減するが、性能は著しく低下する。
この問題に対処するため、LLM語彙の列空間に潜伏空間を制限し、潜伏推論を語彙確率の重ね合わせとして扱う。
後続の推論が終わると、それは最終的な答えを得るために明確な推論の固有状態に崩壊する。
Latent-SFTはGSM8kに新しい状態を設定し、明示的に一致する
論文 参考訳(メタデータ) (2025-10-17T10:51:20Z) - Reason-to-Recommend: Using Interaction-of-Thought Reasoning to Enhance LLM Recommendation [9.282278040339138]
$textbfR2Rec$は推論強化レコメンデーションフレームワークである。
ユーザアイコングラフからインタラクションチェーンをサンプリングし、それらを構造化されたインタラクション・オブ・思想に変換する。
論文 参考訳(メタデータ) (2025-06-05T14:16:44Z) - Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。
既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。
本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
論文 参考訳(メタデータ) (2025-05-25T11:03:45Z) - SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。
LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
論文 参考訳(メタデータ) (2025-02-17T18:52:29Z) - DetermLR: Augmenting LLM-based Logical Reasoning from Indeterminacy to Determinacy [76.58614128865652]
非決定性から決定性への進化として推論過程を再考する新しい視点であるDetermLRを提案する。
まず、既知の条件を次の2つのタイプに分類する: 決定的および不決定的前提 これは、推論プロセスのオール方向を提供し、不決定的データを段階的決定的洞察に変換する際のLCMを導く。
我々は、利用可能な施設の保存と抽出、推論メモリによる推論パスの自動化、そしてその後の推論ステップに関する歴史的推論の詳細を保存する。
論文 参考訳(メタデータ) (2023-10-28T10:05:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。