論文の概要: PRQ-KMeans: Projection Residual Quantization for Semantic ID Tokenization

• arxiv url: http://arxiv.org/abs/2608.24207v2
• Date: Thu, 03 Sep 2026 03:14:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 13:51:58.004326
• Title: PRQ-KMeans: Projection Residual Quantization for Semantic ID Tokenization
• Title（参考訳）: PRQ-KMeans:意味的IDトークン化のための投影残差量子化
• Authors: Yunxiao Luo, Siyuan Wang, Ben Chen, Chenyi Lei, Qingpeng Cai,
• Abstract要約: 残留量子化トークンは、各レベルでコードワードを選択し、次に残余を渡すことによって生成シーケンスを構築する。 コーパスワイドの共有コンポーネントは、ファーストレベル容量を消費し、ハードアサインは、近くのコードワードとグレードされた類似性を無視し、フルコードワードのサブトラクションは、選択されたコードワード方向に沿って、次の残余でばらつきを残すことができる。 提案するPRQ-KMeansは,グローバル平均成分を除去し,Top-k類似度重み付き更新によりセントロイドを洗練し,全符号サブトラクションをプロジェクション残差に置き換える。
• 参考スコア（独自算出の注目度）: 19.51791274446621
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic identifiers (SIDs) represent entities as hierarchical token sequences for generative retrieval and recommendation. Residual-quantization tokenizers construct these sequences by selecting a codeword at each level and passing a residual to the next. We view this process as progressive commonality removal: each token captures a component shared within its group, while later tokens should model the remaining differences. This view reveals three limitations: a corpus-wide shared component can consume first-level capacity, hard assignment ignores graded similarities to nearby codewords, and full-codeword subtraction can leave variation along the selected-codeword direction in the next residual. We therefore develop our solution in the post-hoc setting, where residual construction is not constrained by input reconstruction. Specifically, we propose PRQ-KMeans, which removes the global-mean component, refines centroids with Top-k similarity-weighted updates, and replaces full-codeword subtraction with a projection residual that removes each representation's selected-centroid component. Experiments on a large-scale industrial search dataset and four public recommendation benchmarks show that PRQ-KMeans achieves the strongest overall performance among the evaluated tokenizers, including gains of up to 7.4% in HitRate and 11.8% in MRR on the industrial dataset.
• Abstract（参考訳）: 意味的識別子(SID)は、エンティティを生成的検索とレコメンデーションのための階層的トークンシーケンスとして表現する。 残留量子化トークンは、各レベルでコードワードを選択し、残りを次のレベルに渡すことで、これらのシーケンスを構築する。 各トークンはグループ内で共有されるコンポーネントをキャプチャし、後続のトークンは残りの違いをモデル化する。 コーパスワイドの共有コンポーネントは、ファーストレベル容量を消費し、ハードアサインは、近くのコードワードとグレードされた類似性を無視し、フルコードワードのサブトラクションは、選択されたコードワード方向に沿って、次の残余でばらつきを残すことができる。 そこで我々は, 残余構造が入力再構成によって制約されない, ポストホック環境下での解法を開発した。 具体的には、グローバル平均成分を除去し、Top-k類似度重み付き更新でセントロイドを洗練し、各表現の選択したセントロイド成分を除去するプロジェクション残差に置換するPRQ-KMeansを提案する。 大規模産業用検索データセットと4つのパブリックレコメンデーションベンチマークの実験によると、PRQ-KMeansは、ヒッタレートで最大7.4%、産業用データセットで最大11.8%のゲインを含む、評価されたトークンメーカーの中で最も高い総合的なパフォーマンスを達成している。

関連論文リスト

• Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs [7.371189496638082]
  本稿では,カラムサブセット選択問題としてトークンプルーニングを再構成する部分空間再構成手法であるSPAREを紹介する。 SPAREはタスクに強い利得を伴い、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2026-06-17T04:45:10Z)
• Closing the Indexing-Decoding Gap in Multimodal Generative Retrieval via Prefix Retention Optimization [68.48718919047127]
  マルチモーダル生成検索式は、複数のモーダル検索を離散識別子生成として定義し、外部埋め込みよりも明示的な類似性探索を不要とする。 既存の手法では、残差量子化によって識別子を構築し、トリエ制約ビームサーチでデコードする。 この組み合わせは、インデックス化とデコーディングのギャップを導入している: 識別子学習の目的は、再構成や対照的な損失を含むが、デコーディング中にプレフィックスの識別性を明示的に強制しない。 1)プレフィックスの格付け蒸留は、リストワイドロスを用いた事前量子化埋め込みによって誘導されるプレフィックスと整合する; (ii)語彙スケジューリングは、コードブックを増大させる。
  論文  参考訳（メタデータ） (2026-06-08T09:15:47Z)
• Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
  LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。 この定式化がモデリングのボトルネックを生み出すことを示す。 コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
  論文  参考訳（メタデータ） (2026-05-14T18:30:10Z)
• UniRec: Bridging the Expressive Gap between Generative and Discriminative Recommendation via Chain-of-Attribute [12.89120699793625]
  Generative Recommendation (GR) reframes search and ranking as autoregressive decoding over Semantic IDs (SIDs) p(y|f,u) によるランクは p(f|y,u) によるランクと同値であり、アイテムの特徴を自己回帰的に分解する。 提案するUniRecとChain-of-Attribute(CoA)は、その中核となるメカニズムである。CoAは、SIDを復号する前に構造化属性トークン:カテゴリ、販売者、ブランドを含む各SIDシーケンスをプレフィックスし、識別モデルが活用するアイテム側の特徴交差を復元する。
  論文  参考訳（メタデータ） (2026-04-14T03:13:50Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Order-agnostic Identifier for Large Language Model-based Generative Recommendation [94.37662915542603]
  アイテムは、ユーザ履歴をエンコードし、次のアイテムを生成するために、LLM(Large Language Models)の識別子に割り当てられる。 既存のアプローチでは、トークンシーケンス識別子を使用して、アイテムを個別のトークンシーケンスとして表現するか、IDまたはセマンティック埋め込みを使用して単一トークン識別子を使用する。 本稿では,セマンティック・トークンライザを利用するSETRecを提案する。
  論文  参考訳（メタデータ） (2025-02-15T15:25:38Z)
• Learning Multi-Aspect Item Palette: A Semantic Tokenization Framework for Generative Recommendation [55.99632509895994]
  マルチアスペクトセマンティックトークン化のための新しいアプローチであるLAMIAを紹介する。 単一の埋め込みを使用するRQ-VAEとは異なり、LAMIAは独立的でセマンティックな並列な埋め込みの集合である「アイテムパレット」を学習する。 その結果,提案手法よりも提案手法の精度が大幅に向上した。
  論文  参考訳（メタデータ） (2024-09-11T13:49:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。