論文の概要: Rethinking Semantic ID Construction for Generative Recommendation: SimHash with Parallel Decoding and Semantic Alignment
- arxiv url: http://arxiv.org/abs/2610.07402v1
- Date: Mon, 05 Oct 2026 21:15:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.66656
- Title: Rethinking Semantic ID Construction for Generative Recommendation: SimHash with Parallel Decoding and Semantic Alignment
- Title(参考訳): 生成レコメンデーションのためのセマンティックID構築の再考:並列デコードとセマンティックアライメントを備えたSimHash
- Abstract要約: Flashは、並列デコーディングと明示的なセマンティックアライメントを通じて、トレーニング不要のSimHashトークンを再活性化するフレームワークである。
提案手法は,デコードとセマンティックグラウンドの両面で互換性があり,単純かつ効率的なトークン化器は,生成的推薦において複雑な学習手法に匹敵する性能が得られることを示唆している。
- 参考スコア(独自算出の注目度): 44.42248952298439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic ID-based generative recommendation represents each item as a sequence of discrete tokens, enabling structured modeling of item semantics. A critical challenge is constructing semantic IDs that are both semantically expressive and computationally efficient. While recent approaches favor complex learned quantization, simple hashing-based methods such as SimHash are widely regarded as fundamentally inferior. In this work, we challenge this consensus by showing that the apparent performance gap does not stem from inherent limitations of hashing, but rather from a structural mismatch with autoregressive decoding, coupled with the inevitable information loss during rigid discretization. Based on this insight, we propose FLASH, a two-stage framework that revitalizes training-free SimHash tokenization through parallel decoding and explicit semantic alignment. Despite its simplicity, FLASH achieves state-of-the-art performance across multiple datasets without requiring any tokenizer training, while exhibiting stronger generalization in cold-start scenarios. Notably, we demonstrate that semantic alignment acts as a universally effective mechanism across diverse paradigms. Our findings suggest that, with compatible decoding and semantic grounding, simple and efficient tokenizers can achieve performance comparable to complex learned counterparts in generative recommendation. Our code is available at https://github.com/KevinC2015/Flash.
- Abstract(参考訳): 意味的IDに基づく生成レコメンデーションは、各項目を離散トークンのシーケンスとして表現し、アイテムセマンティクスの構造化モデリングを可能にする。
重要な課題は、セマンティック表現と計算効率の両方のセマンティックIDを構築することである。
最近のアプローチでは複雑な学習量子化が好まれているが、SimHashのような単純なハッシュベースの手法は基本的に劣っていると考えられている。
本研究は, 明らかなパフォーマンスギャップは, ハッシュの固有の限界ではなく, 自己回帰復号化による構造ミスマッチと, 厳密な離散化における必然的な情報損失から生じるものであることを示すことによって, この合意に異議を唱える。
この知見に基づいて、並列デコーディングと明示的なセマンティックアライメントを通じて、トレーニング不要なSimHashトークン化を活性化する2段階フレームワークであるFLASHを提案する。
その単純さにもかかわらず、FLASHは、コールドスタートシナリオにおいてより強力な一般化を示しながら、トークン処理者のトレーニングを必要とせずに、複数のデータセットにわたる最先端のパフォーマンスを達成する。
セマンティックアライメントは多種多様なパラダイムにまたがる普遍的なメカニズムとして機能することを示す。
提案手法は,デコードとセマンティックグラウンドの両面で互換性があり,単純かつ効率的なトークン化器は,生成的推薦において複雑な学習手法に匹敵する性能が得られることを示唆している。
私たちのコードはhttps://github.com/KevinC2015/Flashで利用可能です。
関連論文リスト
- Beyond Post-Quantization: Native Hash Learning with a Dedicated HASH Token [20.81211439061764]
HashViTは、ネイティブハッシュトークン学習のためのVision Transformerフレームワークである。
学習可能なセマンティックセンターの監督、クラストーケン類似度蒸留、量子化正規化を組み合わせた統一的な目的で最適化されている。
広く使用されている3つのベンチマークの実験は、HashViTが最先端または高い競争力のある検索性能を達成することを示した。
論文 参考訳(メタデータ) (2026-07-03T13:46:18Z) - Beyond Tokens: Semantic-Aware Speculative Decoding for Efficient Inference by Probing Internal States [14.780400014944926]
大規模言語モデル(LLM)は多くのタスクで高いパフォーマンスを達成するが、自動回帰復号化による高い推論遅延に悩まされる。
トークンの代わりにセマンティックシークエンス全体を検証するセマンティックス(SemanticSpec)を提案する。
論文 参考訳(メタデータ) (2026-02-03T16:30:30Z) - SemToken: Semantic-Aware Tokenization for Efficient Long-Context Language Modeling [6.185573921868495]
SemTokenは、トークンの冗長性を低減し、効率を向上させるセマンティック・アウェアなトークン化フレームワークである。
現代の言語モデルや注意促進手法とシームレスに統合することができる。
この結果から,意味構造は大規模言語モデルにおけるトークン化と計算を最適化する上で,有望な新たな軸を提供する可能性が示唆された。
論文 参考訳(メタデータ) (2025-08-21T03:01:53Z) - Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。
文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。
右列桁のグルーピングは、大数の算術を+33%向上させる。
論文 参考訳(メタデータ) (2025-06-23T18:02:26Z) - Learning Multi-Aspect Item Palette: A Semantic Tokenization Framework for Generative Recommendation [55.99632509895994]
マルチアスペクトセマンティックトークン化のための新しいアプローチであるLAMIAを紹介する。
単一の埋め込みを使用するRQ-VAEとは異なり、LAMIAは独立的でセマンティックな並列な埋め込みの集合である「アイテムパレット」を学習する。
その結果,提案手法よりも提案手法の精度が大幅に向上した。
論文 参考訳(メタデータ) (2024-09-11T13:49:48Z) - ConceptHash: Interpretable Fine-Grained Hashing via Concept Discovery [128.30514851911218]
ConceptHashは、サブコードレベルの解釈性を実現する新しい方法である。
ConceptHashでは、各サブコードは、オブジェクト部分のような人間の理解可能な概念に対応する。
学習したハッシュコードが、きめ細かいオブジェクトクラス内で識別可能であることを保証するために、言語ガイダンスを組み込んだ。
論文 参考訳(メタデータ) (2024-06-12T17:49:26Z) - Prototype-supervised Adversarial Network for Targeted Attack of Deep
Hashing [65.32148145602865]
ディープハッシュネットワークは、敵の例に弱い。
ProS-GAN(ProS-GAN)の提案
我々の知る限りでは、これはディープハッシュネットワークを攻撃する最初の世代ベースの方法である。
論文 参考訳(メタデータ) (2021-05-17T00:31:37Z) - CIMON: Towards High-quality Hash Codes [63.37321228830102]
我々はtextbfComprehensive stextbfImilarity textbfMining と ctextbfOnsistency leartextbfNing (CIMON) という新しい手法を提案する。
まず、グローバルな洗練と類似度統計分布を用いて、信頼性とスムーズなガイダンスを得る。第二に、意味的整合性学習とコントラスト的整合性学習の両方を導入して、乱不変と差別的ハッシュコードの両方を導出する。
論文 参考訳(メタデータ) (2020-10-15T14:47:14Z) - Unsupervised Semantic Hashing with Pairwise Reconstruction [22.641786533525245]
本稿では、離散変分オートエンコーダに基づくハッシュモデルであるPairwise Reconstruction(PairRec)を提案する。
PairRecと従来の手法と最先端の手法を実験的に比較し,文書類似性検索のタスクにおいて大幅な性能向上を実現した。
論文 参考訳(メタデータ) (2020-07-01T10:54:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。