論文の概要: LLMs Need Encoders for Semantic IDs Too

• arxiv url: http://arxiv.org/abs/2606.00324v1
• Date: Fri, 29 May 2026 20:01:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.288349
• Title: LLMs Need Encoders for Semantic IDs Too
• Title（参考訳）: LLMはセマンティックIDのエンコーダも必要だ
• Abstract要約: PrefixMem はプレフィックス n-gram メモリテーブルをベースとした軽量 SID エンコーダである。 PrefixMemは, 一致したトレーニング計算において, 最深部SID精度を最大46%向上し, 完全SID検索リコールを最大22%向上することを示した。
• 参考スコア（独自算出の注目度）: 6.952078655385385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal LLMs use dedicated encoders to bridge non-language modalities (vision encoders for images, depth models for audio codec tokens) because raw token embeddings alone cannot capture modality-specific structure. We argue that Semantic IDs (SIDs), the hierarchical codes used in generative recommendation, constitute another such modality: a SID level token's meaning depends on its prefix context, yet current systems simply add SID tokens to the vocabulary and rely on training to learn these context-dependent meanings from scratch. We propose PrefixMem, a lightweight SID encoder based on prefix n-gram memory tables that provides the LLM with structured, prefix-conditioned representations at SID token positions. Like vision encoders in multimodal LLMs, PrefixMem can be pre-trained independently and then attached to any LLM for joint training. We evaluate on large-scale data from Pinterest across multiple LLM families and show that PrefixMem improves deepest-level SID accuracy by up to 46% relative and full-SID retrieval recall by up to 22% relative at matched training compute. The encoder's benefit concentrates on hard examples where greedy decoding fails, with up to 77% relative accuracy gains, confirming that SID tokens benefit from a dedicated encoder just as other non-language modalities do.
• Abstract（参考訳）: マルチモーダル LLM は、非言語的なモダリティ(画像のビジョンエンコーダ、オーディオコーデックトークンの深さモデル)をブリッジするために専用エンコーダを使用する。 SIDレベルトークンの意味はそのプレフィックスコンテキストに依存するが、現在のシステムは単に語彙にSIDトークンを付加し、これらの文脈依存の意味をスクラッチから学習するためにトレーニングに依存する。 我々は,SIDトークン位置の構造化されたプレフィックス条件付き表現をLLMに提供する,プレフィックス n-gram メモリテーブルに基づく軽量 SID エンコーダである PrefixMem を提案する。 マルチモーダル LLM の視覚エンコーダと同様に、PrefixMem は独立して事前トレーニングを行い、共同トレーニングのために任意の LLM にアタッチできる。 複数のLLMファミリーにわたるPinterestの大規模データを評価したところ、PrefixMemは、一致したトレーニング計算において、最大46%、フルSID検索リコールを最大22%改善することがわかった。 エンコーダの利点は、greedy復号が失敗し、77%の相対的精度が向上するハードケースに集中し、SIDトークンが他の非言語モダリティと同様に専用エンコーダの恩恵を受けることを確認する。

関連論文リスト

• HF-SID: High-Fidelity Semantic IDs for Generative Retrieval in Location-Based Services [6.767079940213956]
  位置情報ベースサービス(LBS)では,各POI(Point-of-Interest)を意味ID(Semantic ID, SID)として表現する生成検索が注目されている。 離散コードに何らかの情報がコミットされる前に、表現段階で地理的、数値的、構造的忠実度を復元するHF-SIDを提案する。 これらのメカニズムは表現を長くするよりも表現を豊かにするので、HF-SIDは余分な復号コストで3つのトークン識別子SIDを使用する。
  論文  参考訳（メタデータ） (2026-08-31T09:05:09Z)
• Interpretable Representation via LLM-Driven Generative Disentanglement for Local-Life Service Recommendation [28.83516611687355]
  我々はLGRID(Local-Life Service Recommendation)のためのLLM駆動型生成ディスタングルによる解釈可能な表現を提案する。 LGRID は Encode -> Disentangle -> Align -> Quantize Pipeline を通じて生成的不整合のパラダイムを導入している。 KuaishouとFoursquareの実験によると、LGRIDはSIDベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-30T09:52:18Z)
• VaLiDRec: Variable-Length LLM-Aligned Semantic IDs for Generative Recommendation [39.59701442467294]
  VaLiDRecは、可変長LLM対応セマンティック識別子に基づく生成レコメンデーションフレームワークである。 ユーザの好みをモデル化するために、VaLiDRecはグラフ対応のソフトプロンプトを導入し、トークンセット予測としてレコメンデーションを再構成する。 実世界の4つのデータセットの実験では、VaLiDRecは、強い、シーケンシャルな生成推奨ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-28T02:29:10Z)
• Diffusion Large Language Models for Visual Speech Recognition [56.81307584718608]
  本稿では,最初の拡散大言語モデル(DLLM)に基づく視覚音声認識(VSR)フレームワークを提案する。 DLLM-VSRは早期に高信頼位置をコミットし、コミットトークンを双方向コンテキストとして、曖昧なトークンを洗練させる。 我々は、ビデオ長を用いて、可塑性転写長仮説を構築する長さ誘導型候補復号法を開発した。 提案手法はラベル付きトレーニングデータのみを用いて, LRS3 上で19.5%の最先端 WER を実現する。
  論文  参考訳（メタデータ） (2026-05-27T13:22:08Z)
• Fine-grained Semantics Integration for Large Language Model-based Recommendation [35.75224379727093]
  token-level Semantics を LLM ベースの Recommender に組み込む TS-Rec を提案する。 2つの実世界のベンチマークに関する大規模な実験は、TS-Recが伝統的および生成的ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-02-26T05:17:24Z)
• Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders [37.16464474575651]
  マルチトークンドクIDを用いたポイントワイズ生成ランキングはデュアルエンコーダよりも優れていることを示す。 SToICaLは、アイテムとトークンのレベルの両方において、ランク対応の監視を組み込むことができるシンプルなトークンの校正損失である。
  論文  参考訳（メタデータ） (2026-01-09T07:16:28Z)
• Decoding in Latent Spaces for Efficient Inference in LLM-based Recommendation [75.72196852363116]
  光遅延空間復号法(L2D)は効率的かつ効率的な遅延空間復号法である。 L2Dは言語空間の復号化よりも10倍以上高速で、性能の維持や向上が可能である。
  論文  参考訳（メタデータ） (2025-09-15T02:30:35Z)
• METEOR: Multi-Encoder Collaborative Token Pruning for Efficient Vision Language Models [92.37117312251755]
  プログレッシブプルーニングフレームワークであるMulti-Encoder collaboraTivE tOken pRuning (METEOR)を提案する。 マルチビジョン符号化では,各エンコーダ内の冗長トークンをランク誘導型協調トークン代入戦略により破棄する。 マルチビジョン融合では、異なるエンコーダの視覚的特徴を組み合わせながら、コラボレーティブプルーニングによるクロスエンコーダ冗長性を低減させる。
  論文  参考訳（メタデータ） (2025-07-28T13:50:53Z)
• Self-Explained Keywords Empower Large Language Models for Code Generation [5.236633572296712]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 Sek(textbfSelf-textbfExplained textbfKeywords)は、LLM自体による問題記述における重要な用語を抽出し、説明する。
  論文  参考訳（メタデータ） (2024-10-21T12:52:03Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)
• Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
  LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
  論文  参考訳（メタデータ） (2023-04-10T09:55:14Z)
• Improving Mandarin End-to-End Speech Recognition with Word N-gram Language Model [57.92200214957124]
  外部言語モデル(LM)は、エンドツーエンド(E2E)自動音声認識(ASR)システムの音声認識性能を向上させることができる。 単語レベルの格子をオンザフライで構築し,可能なすべての単語列を考慮可能な,新しい復号アルゴリズムを提案する。 提案手法は,N-gram LMやニューラルネットワーク LM など,サブワードレベルのLMを一貫して上回る。
  論文  参考訳（メタデータ） (2022-01-06T10:04:56Z)
• Exploring the Use of an Unsupervised Autoregressive Model as a Shared Encoder for Text-Dependent Speaker Verification [22.894402178709136]
  本稿では,タスク固有のデコーダを用いた共有エンコーダを用いたテキスト依存型自動話者検証(TD-ASV)を提案する。 提案手法は,大規模でラベルのないデータリッチなドメインから活用でき,下流タスクとは無関係に音声パターンを学習できることを示す。
  論文  参考訳（メタデータ） (2020-08-08T22:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。