論文の概要: Guiding the coarse levels of semantic IDs makes the fine levels learnable
- arxiv url: http://arxiv.org/abs/2609.22227v1
- Date: Thu, 03 Sep 2026 01:54:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.793843
- Title: Guiding the coarse levels of semantic IDs makes the fine levels learnable
- Title（参考訳）: セマンティックIDの粗いレベルを導くことで、細かいレベルを学習できる
- Abstract要約: 本稿では,建設においてもっとも意味のあるレベルを規定するガイド付きSIDを紹介する。
Trie-mergeの構築は、高カーディナリティや設定値の属性を固定コード予算にマッピングします。
SIDエンコーディングでのみ異なる一致したエンドツーエンドのA/Bでは、ガイド付きレトリバーは、測定したリスト長毎にrecall@kを改善します。
- 参考スコア（独自算出の注目度）: 9.576854834471993
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Generative retrieval represents each item by a short Semantic ID and casts recommendation as autoregressive generation of that sequence. Because the tokenizer is trained independently to reconstruct an item embedding, its codes are aligned with neither the downstream LLM nor the end task. Nearly every SID system therefore spends extra effort to bridge this gap--alignment corpora, reasoning/RL, or per-token encoders to make codes legible, or learned tokenizer supervision to make them task-aware--yet the recovered meaning is content-derived and may not be the meaning the task needs. We introduce Guided SID, which instead makes the levels that matter most meaningful by construction: we force the coarse RQ-VAE levels to encode a predefined categorical attribute--chosen to be text-grounded (hence legible to the LLM) and task-relevant--by deterministic supervised index assignment (overriding nearest-neighbor selection with the attribute label) while keeping the codebooks learnable (they still receive reconstruction gradients). A trie-merge construction maps any high-cardinality or set-valued attribute onto the fixed code budget while keeping merged buckets semantically coherent. Guiding costs nothing intrinsically: collision and reconstruction match or beat the vanilla baseline despite pinning the coarse level. In a matched end-to-end A/B differing only in the SID encoding, the guided retriever improves recall@k at every list length we measure (1.36x at k=1, 1.39x at k=10), raises mean reciprocal rank from 0.0260 to 0.0355, and predicts the pre-defined attribute 4.2x more often.
- Abstract（参考訳）: 生成検索は、各項目を短いセマンティックIDで表現し、そのシーケンスの自己回帰生成として推奨する。
トークン化器は、アイテムの埋め込みを再構築するために独立して訓練されるため、そのコードは下流のLSMでも最終タスクとも一致しない。
したがって、ほぼすべてのSIDシステムは、このギャップアライメントコーパス、推論/RL、あるいはコードごとのエンコーダを合法化するために余分な労力を費やす。
粗いRQ-VAEレベルは、事前に定義された分類属性-chosenをテキストでエンコードし(LLMに従属する)、タスク関連インデックスを決定論的に指定し(属性ラベルに最寄りの選択をオーバーライドする)、コードブックを学習しやすくする(リコンストラクショングラデーショングラデーションをまだ受け取っている)。
Trie-mergeの構築は、マージされたバケットを意味的に一貫性を維持しながら、高カーディナリティまたはセット値の属性を固定されたコード予算にマッピングする。
衝突と再建は、粗いレベルを固定しているにもかかわらずバニラベースラインと一致したり、打ち負かしたりする。
SIDエンコーディングでのみ異なる一致したエンドツーエンドA/Bにおいて、ガイドされた検索者は、私たちが測定するリスト長毎のリコール@kを改善する(k=1で1.36x、k=10で1.39x)。
関連論文リスト
- Rethinking Item Tokenization in Generative Recommenders: From Fixed Atoms to Semantic Subwords [50.621722853036005]
生成レコメンデーションシステムでは、アイテムは通常、自己回帰的次イテム予測のために固定長のセマンティックIDシーケンスにトークン化される。
ユーザコンテキストのモデリングでは、このきめ細かい表現が注意の過負荷を引き起こす。
本稿では,歴史的項目を可変長のセマンティック・サブワードとして表現するセマンティック・サブワード・トークン化(SST)を提案する。
論文 参考訳（メタデータ） (2026-08-24T02:42:51Z) - TopoGR: Revealing and Preserving Latent Structure of Semantic ID in Generative Recommendation [25.345503799250476]
TopoGRはBit-decomposable Semantic ID(バイナリSID)に基づくトポロジー保存型生成レコメンデーションフレームワークである
TopoGRは、レコメンデーションパフォーマンスにおいて、既存の最先端のベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-07-28T02:45:33Z) - CogRec: Structure-Cognitive Fast-and-Slow Reasoning for Generative Recommendation [29.663400191042996]
CogRecは構造認識型高速・スロー推論フレームワークである。
CogRecは、層内セマンティックグラフとアイテムレベルの近傍で垂直SID階層を拡大する。
SIDルーティングは、レイヤワイドマッチ、 LateralJump、Explore操作によるレコメンデーション推論を表す。
論文 参考訳（メタデータ） (2026-07-27T13:19:55Z) - Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - Closing the Indexing-Decoding Gap in Multimodal Generative Retrieval via Prefix Retention Optimization [68.48718919047127]
マルチモーダル生成検索式は、複数のモーダル検索を離散識別子生成として定義し、外部埋め込みよりも明示的な類似性探索を不要とする。
既存の手法では、残差量子化によって識別子を構築し、トリエ制約ビームサーチでデコードする。
この組み合わせは、インデックス化とデコーディングのギャップを導入している: 識別子学習の目的は、再構成や対照的な損失を含むが、デコーディング中にプレフィックスの識別性を明示的に強制しない。
1)プレフィックスの格付け蒸留は、リストワイドロスを用いた事前量子化埋め込みによって誘導されるプレフィックスと整合する; (ii)語彙スケジューリングは、コードブックを増大させる。
論文 参考訳（メタデータ） (2026-06-08T09:15:47Z) - Gryphon: A Unified Architecture for Semantic-ID Generation and Item-Level Scoring in Industrial Recommendations [0.0]
我々は、SID生成とともに、共同で訓練されたアイテムレベルスコアリングコンポーネントを導入する。
累積トークン確率でSIDをランク付けする代わりに、Gryphonは生成された各SIDを具体的なアイテムに分解する。
産業音楽サービスでは、次点の予測目標に基づいてアイテムレベルのスコアがトレーニングされた上で、GryphonはアイテムレベルのRecall@1000を最高レベルに到達した。
論文 参考訳（メタデータ） (2026-06-07T12:31:26Z) - Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。
この定式化がモデリングのボトルネックを生み出すことを示す。
コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
論文 参考訳（メタデータ） (2026-05-14T18:30:10Z) - CapsID: Soft-Routed Variable-Length Semantic IDs for Generative Recommendation [6.439016735163573]
生成レコメンデーションは、各項目をセマンティックID(SID)のシーケンスにマッピングし、検索を自己回帰トークン生成として再キャストする。
CAPSIDは硬質残留量子化をカプセルルーティングに置き換える。
Amazon Beauty, Sports, Toys, and a 35M-item industrial catalogでは、CAPSID+SEMANTICBPEはReSIDよりも平均して10.6%改善している。
論文 参考訳（メタデータ） (2026-05-06T16:33:13Z) - Differentiable Semantic ID for Generative Recommendation [65.83703273297492]
生成的推薦は、各項目がリッチコンテンツから学習された個別意味ID(SID)によって表現される新しいパラダイムを提供する。
実際には、SIDはレコメンデーションの正確さよりもコンテンツ再構成に最適化されるのが一般的である。
自然なアプローチは、セマンティックインデックスを差別化して、レコメンデーショングラデーションが直接SID学習に影響を与えるようにすることだ。
本稿では,ジェネレーティブレコメンデーションのための効果的な識別可能なセマンティックIDに向けた第一歩として,DIGERを提案する。
論文 参考訳（メタデータ） (2026-01-27T15:34:11Z) - TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。
報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
論文 参考訳（メタデータ） (2025-11-07T16:08:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。