論文の概要: Beyond Fixed Depths and Widths: Optimizing Textual Decoding Tries in LLM-based Generative Recommendation

• arxiv url: http://arxiv.org/abs/2607.16633v1
• Date: Sat, 18 Jul 2026 04:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.211686
• Title: Beyond Fixed Depths and Widths: Optimizing Textual Decoding Tries in LLM-based Generative Recommendation
• Title（参考訳）: 固定深度と幅を超える: LLMに基づく生成勧告におけるテキストデコーディングの最適化
• Abstract要約: 本稿では,テキスト用語IDとその基盤となるデコードトリエを共設計する新しいフレームワークを提案する。 BONSAIは最先端のベースラインよりも21.6%向上している。
• 参考スコア（独自算出の注目度）: 59.20704286413859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative recommendation (GR) is an increasingly popular paradigm in recommender systems, with a prominent line of work using LLMs as autoregressive backbones to predict the next item's term IDs (e.g., titles or keywords). The success of autoregressive generation hinges on constrained beam search over a decoding trie to ensure that generated outputs correspond to valid items. However, current research predominantly focuses on generating more comprehensive term IDs to describe items, while largely neglecting the structural design of the decoding trie formed by these terms. This can lead to a trie that is poorly suited to beam search, which degrades performance. To address this, we examine the effectiveness of term IDs from the perspective of decoding trie optimization. Through empirical and theoretical analyses, we identify two desirable properties for a highly performant trie: (1) adaptive and variable ID length, enabling items with varying semantic richness to be represented by IDs of appropriate lengths, and (2) constrained branching factors, especially at shallow levels, which drastically improves the success rate of constrained beam search. Motivated by these properties, we introduce BONSAI: Branching-Optimized Node Structure for Adaptive Identifiers, a novel framework that co-designs textual term IDs and their underlying decoding trie. BONSAI extracts recommendation-informative words from item metadata and employs a minimum set cover formulation to recursively build a trie that satisfies the above properties. Experiments reveal that BONSAI achieves up to a 21.6% relative improvement over state-of-the-art baselines. Further analyses confirm the crucial role of our proposed properties, and demonstrate their generalizability to be applied to enhance the performance of other term ID methods.
• Abstract（参考訳）: ジェネレーティブレコメンデーション(GR)は、レコメンデーションシステムにおいて、次の項目の用語ID(タイトルやキーワードなど)を予測するための自己回帰バックボーンとしてLLMを使用することで、顕著な作業ラインで人気が高まっている。 自己回帰生成ヒンジの成功は、デコードトレー上の制約されたビームサーチで成功し、生成された出力が有効なアイテムに対応することを保証する。 しかしながら、現在の研究は主に、アイテムを記述するためのより包括的な用語IDの生成に焦点が当てられているが、これらの用語によって形成される復号トライの構造設計は無視されている。 これによりビームサーチに不適なトリエが生まれ、性能が低下する。 これを解決するために,復号化トリエ最適化の観点から,項IDの有効性を検討する。 実験的および理論的分析により,(1)適応的および可変的なID長,(2)適切な長さのIDで表現可能な項目,(2)制約された分岐因子,特に浅いレベルでの制約されたビームサーチの成功率を劇的に向上させる2つの特性を同定した。 これらの特性によって動機づけられたBONSAIは、適応識別子のための分岐最適化ノード構造であり、テキスト項IDとその基盤となる復号トライを共設計する新しいフレームワークである。 BONSAIは、アイテムメタデータからレコメンデーションインフォーマルな単語を抽出し、最小セットのカバー定式化を用いて、上記のプロパティを満たすトリエを再帰的に構築する。 実験の結果、BONSAIは最先端のベースラインよりも21.6%向上していることがわかった。 さらに,提案する特性の重要な役割を検証し,他の項ID法の性能向上に応用できる一般化性を示す。

関連論文リスト

• Generative Universal Multimodal Retrieval with Dual-role Identifiers [1.0981910170846492]
  本稿ではDrIGを提案する。DrIGはDual-role Identifierを特徴とするユニバーサルマルチモーダル検索のための新しい生成フレームワークである。 DrIGは、多種多様なタスクにまたがって、最先端のマルチモーダルベースラインを一貫して上回り、一方、ハイブリッドリグレードは、強い高密度レトリバーに対して好適な効率効率効率のトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-08-13T09:10:09Z)
• CAMI: Cost-Aware Agent-Guided Multi-Indexing for Semantic Retrieval [7.07006462273528]
  CAMI(Cost-Aware Multi-Indexing)は、マルチインデックス構築を予算付き多目的ポートフォリオ選択問題として形式化するフレームワークである。 その結果,厳格な予算制約の下で,ハイリコールポートフォリオを系統的に分離することが判明した。 CAMIは、これらのハイリコールポートフォリオを、ランダムな検索ベースラインに比べて最大5倍の予算で体系的に識別することができる。
  論文  参考訳（メタデータ） (2026-06-14T16:59:18Z)
• Closing the Indexing-Decoding Gap in Multimodal Generative Retrieval via Prefix Retention Optimization [68.48718919047127]
  マルチモーダル生成検索式は、複数のモーダル検索を離散識別子生成として定義し、外部埋め込みよりも明示的な類似性探索を不要とする。 既存の手法では、残差量子化によって識別子を構築し、トリエ制約ビームサーチでデコードする。 この組み合わせは、インデックス化とデコーディングのギャップを導入している: 識別子学習の目的は、再構成や対照的な損失を含むが、デコーディング中にプレフィックスの識別性を明示的に強制しない。 1)プレフィックスの格付け蒸留は、リストワイドロスを用いた事前量子化埋め込みによって誘導されるプレフィックスと整合する; (ii)語彙スケジューリングは、コードブックを増大させる。
  論文  参考訳（メタデータ） (2026-06-08T09:15:47Z)
• Transforming External Knowledge into Triplets for Enhanced Retrieval in RAG of LLMs [55.78708003681562]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚を、生成時に外部知識を取り入れることで緩和する。 既存のRAGアプローチは通常、コンテキストとしてテキストフラグメントを検索し、非構造化する。 本稿では,三重項に基づく検索フレームワークTri-RAGを提案する。
  論文  参考訳（メタデータ） (2026-04-14T11:36:29Z)
• Deep Interest Mining with Cross-Modal Alignment for SemanticID Generation in Generative Recommendation [0.0]
  Generative Recommendation (GR)は、数兆規模のデータを学習可能な語彙列に圧縮するためにセマンティックID(SID)に依存している。 既存の方法には3つの限界がある。 本稿では,Deep Contextual Interest Mining(DCIM),Cross-Modal Semantic Alignment(CMSA),Quality-Aware Reinforcement Mechanism(QARM)の3つの重要なイノベーションを統合する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-03T13:36:22Z)
• Unleashing the Native Recommendation Potential: LLM-Based Generative Recommendation via Structured Term Identifiers [51.64398574262054]
  本稿では,意味的にリッチで標準化されたテキストキーワードの集合として定義された用語ID(TID)を導入し,堅牢な項目識別子として機能する。 本稿では,TIDを中心にした新しいフレームワークGRLMを提案し,項目のメタデータを標準化されたTIDに変換し,統合的インストラクションファインタニングを活用して,用語の内部化とシーケンシャルレコメンデーションを協調的に最適化する。
  論文  参考訳（メタデータ） (2026-01-11T07:53:20Z)
• When, What, and How: Rethinking Retrieval-Enhanced Speculative Decoding [29.402164743559]
  ReSpecは、ドラフト作成を適応的な意思決定に変換する新しいフレームワークである。 Spec-Benchの実験では、ReSpecの最先端アクセラレーションはそれぞれ33%以上と25%以上を達成している。
  論文  参考訳（メタデータ） (2025-11-03T06:57:16Z)
• Order-agnostic Identifier for Large Language Model-based Generative Recommendation [94.37662915542603]
  アイテムは、ユーザ履歴をエンコードし、次のアイテムを生成するために、LLM(Large Language Models)の識別子に割り当てられる。 既存のアプローチでは、トークンシーケンス識別子を使用して、アイテムを個別のトークンシーケンスとして表現するか、IDまたはセマンティック埋め込みを使用して単一トークン識別子を使用する。 本稿では,セマンティック・トークンライザを利用するSETRecを提案する。
  論文  参考訳（メタデータ） (2025-02-15T15:25:38Z)
• Learnable Item Tokenization for Generative Recommendation [113.80559032128065]
  LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。 LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
  論文  参考訳（メタデータ） (2024-05-12T15:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。