論文の概要: Do Recommenders Need to Think in Words? Latent Reasoning for Efficient LLM-Based Recommendation

• arxiv url: http://arxiv.org/abs/2611.07866v1
• Date: Thu, 05 Nov 2026 11:43:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.669907
• Title: Do Recommenders Need to Think in Words? Latent Reasoning for Efficient LLM-Based Recommendation
• Title（参考訳）: レコメンダは言葉で考える必要があるか? 効率的なLLMに基づくレコメンデーションのための潜在推論
• Abstract要約: LatentRecは、推論時推論アーティファクトをステップ単位のトレーニング時間で置き換える、ジェネレーティブレコメンデーションのためのフレームワークである。 ステップ単位のトレーニング管理は、3つのデータセットの精度を一貫して改善する。
• 参考スコア（独自算出の注目度）: 8.18035790875982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based recommender systems increasingly generate chain-of-thought (CoT) text before each item prediction to activate the LLM's reasoning capacity, costing tens to hundreds of extra tokens per recommendation at inference. We ask whether inference-time reasoning artifacts (textual or latent) can be replaced by training-time supervision alone, without loss of accuracy. We propose LatentRec, a framework for LLM-based generative recommendation that replaces inference-time reasoning artifacts with training-time per-step head supervision. LatentRec has three components. A 2.5M-parameter Continuous Thought Module iterates K latent reasoning steps over the LLM's hidden state during training. Soft Token Selection bridges the ~14x norm gap between hidden states and input embeddings. A Per-step Reasoning Loss (PRL) supervises every intermediate state through the LLM's prediction head against the first token of the target Semantic ID. The trained LLM retains this accuracy without the module at inference, so the module can be discarded at deployment. On three Amazon benchmarks, LatentRec improves HR@10 by 4.0-5.0% (relative) over a CoT-distilled baseline at 18.3x lower latency (batch=1). Per-step training supervision consistently improves accuracy across three datasets, paid once at training rather than at every recommendation.
• Abstract（参考訳）: LLMベースのレコメンデータシステムは、各項目の予測の前にチェーン・オブ・シント(CoT)テキストを生成してLSMの推論能力を活性化し、推論時にレコメンデーション毎に数十から数百のトークンを追加する。 推論時推論アーティファクト(テキストまたは潜時)が、精度を損なうことなく、トレーニング時間のみに置き換えられるかどうかを問う。 提案するLatentRecは,推論時推論アーティファクトをステップごとのトレーニング時間に置き換える,LCMベースの生成レコメンデーションフレームワークである。 LatentRecには3つのコンポーネントがある。 2.5M パラメータ連続思考モジュールは、トレーニング中に LLM の隠れた状態に対する K 潜伏推論ステップを繰り返す。 ソフトトークン選択は、隠れ状態と入力埋め込みの間の14倍のノルムギャップを橋渡しする。 Per-step Reasoning Loss (PRL) は、LLMの予測ヘッドを介して、ターゲットセマンティックIDの最初のトークンに対して全ての中間状態を監督する。 トレーニングされたLLMは、モジュールを推論せずに、この精度を維持しているので、モジュールはデプロイ時に破棄できる。 Amazonの3つのベンチマークでは、LatentRecはCoTで蒸留したベースラインよりもHR@10を4.0-5.0%改善している(batch=1)。 ステップ単位のトレーニング管理は、3つのデータセットの精度を一貫して改善する。

関連論文リスト

• ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation [8.293675661721926]
  オンライン蒸留は、学生モデルを独自の出力で訓練することで推論を改善するが、標準的なOPDは学生が生産する出力を、その情報によらず平等に扱う。 我々は制御されたフィルタリング実験において一貫した非対称性を観察し、OPDとOPSDの両方において、不正なSGOのトレーニングのみにおいて、正しいトレーニングよりも優れた結果が得られることを示した。 完全回答を含むロールアウトを必要とせずにこの信号を利用するために,LLMオンポリス蒸留における負の軌道重要度を重み付けするReNIOを導入する。
  論文  参考訳（メタデータ） (2026-06-22T09:46:35Z)
• e3: Learning to Explore Enables Extrapolation of Test-Time Compute for LLMs [49.01449646799905]
  既存の推論モデルでは外挿がうまく行われていないことが示される。 レシピ e3 は AIME'25 と HMMT'25 のスコアに基づいて最もよく知られた 1.7B モデルを生成する。 e3-1.7Bモデルは、高いpass@1スコアを得るだけでなく、ベースモデルよりもpass@kを改善する。
  論文  参考訳（メタデータ） (2025-06-10T17:52:42Z)
• Right Question is Already Half the Answer: Fully Unsupervised LLM Reasoning Incentivization [47.04132451658664]
  我々の能力は、数学的および自由形式の自然推論のタスクにおいて、教師付きと競合する性能を達成します。 教師付き信号がなければ、Qwen2.5-Math-7B Baseの精度は30.7%から48.1%に向上する。
  論文  参考訳（メタデータ） (2025-04-08T08:48:51Z)
• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• Language Models are Hidden Reasoners: Unlocking Latent Reasoning Capabilities via Self-Rewarding [74.31981011985681]
  大きな言語モデル(LLM)は印象的な機能を示しているが、それでも複数のステップを必要とする複雑な推論タスクに苦戦している。 LaTRO(LaTent Reasoning Optimization)は、潜在分布からのサンプリングとして推論を定式化するためのフレームワークである。 複数のモデルアーキテクチャを用いて、GSM8KおよびARC-Challengeデータセットの実験を通してLaTROを検証する。
  論文  参考訳（メタデータ） (2024-11-06T22:02:30Z)
• Towards Tracing Trustworthiness Dynamics: Revisiting Pre-training Period of Large Language Models [47.439995799065755]
  プレトレーニング中のLLMの信頼性の探索を開拓した。 信頼性、プライバシー、毒性、公平性、堅牢性という5つの重要な側面に注目します。 我々は、同様の2相現象、すなわちフィッティングと圧縮を初めて観測した。
  論文  参考訳（メタデータ） (2024-02-29T18:55:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。