論文の概要: OptST: Optimizing Semantic Tokenization for LLM-Enhanced Recommendation

• arxiv url: http://arxiv.org/abs/2611.07523v1
• Date: Thu, 05 Nov 2026 06:34:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.568834
• Title: OptST: Optimizing Semantic Tokenization for LLM-Enhanced Recommendation
• Title（参考訳）: OptST: LLM強化レコメンデーションのためのセマンティックトークン化の最適化
• Abstract要約: ダウンストリームレコメンデーションに応答するプリトレーニングされたトークンライザを実現する OptST を提案する。 4つの公開データセットの実験により、OptSTは従来のLCM強化ベースラインの中で最高のAUCを達成することが示された。 これらの結果から,LLMプロファイルと下流レコメンデーションモデルとの効果的なインターフェースとして,タスク認識型セマンティックトークン化が確立された。
• 参考スコア（独自算出の注目度）: 14.809957908340266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic information can enrich the identifiers and structured fields used by recommender systems. Semantic tokenization provides a structured representation of this information by converting LLM-derived user profiles into discrete tokens. In the common two-stage pipeline, the tokenizer is trained before the recommender. Its token assignments are then treated as fixed input features during recommendation training. As a result, the downstream recommender can learn how to use the assigned indices, but it cannot revise the semantic partition that produced them. Making this partition task-aware is difficult because nearest-code assignment is discrete, and unconstrained adaptation may also distort the geometry learned during pretraining. Moreover, a fixed token depth exposes the same semantic resolution to every interaction. We thus propose OptST (Optimizing Semantic Tokenization), which makes a pretrained tokenizer responsive to downstream recommendation. To revise token assignments without directly updating the pretrained encoder or base codebooks, OptST learns a low-rank deformation whose drift is limited by an anchor regularizer. Recommendation supervision reaches this transformation through a straight-through estimator, while prediction retains hard nearest-code assignments. Beyond adapting the assignments themselves, OptST selects an interaction-conditioned prefix to control how much residual detail is exposed to the recommender. Experiments on four public datasets show that OptST achieves the highest AUC among conventional and LLM-enhanced baselines. Its improvements also persist across different recommendation backbones. These results establish task-aware semantic tokenization as an effective interface between LLM-derived profiles and downstream recommendation models.
• Abstract（参考訳）: 意味情報は、レコメンダシステムで使用される識別子と構造化されたフィールドを豊かにすることができる。 意味的トークン化(Semantic tokenization)は、LCM由来のユーザプロファイルを離散トークンに変換することで、この情報の構造化された表現を提供する。 一般的な2段階のパイプラインでは、トークンライザはレコメンダの前にトレーニングされる。 トークンの割り当ては、レコメンデーショントレーニング中に固定入力機能として扱われる。 その結果、ダウンストリームレコメンデータは割り当てられたインデックスの使い方を学ぶことができるが、生成したセマンティックパーティションを変更することはできない。 この分割タスクを意識することは、最寄りの符号割り当てが離散的であるため困難であり、制約のない適応も事前訓練中に学習した幾何を歪ませる可能性がある。 さらに、固定トークン深さは、すべてのインタラクションに同じセマンティック解決を公開します。 そこで我々は,ダウンストリームレコメンデーションに応答するプリトレーニングされたトークンライザを実現する OptST (Optimizing Semantic Tokenization) を提案する。 事前訓練されたエンコーダやベースコードブックを直接更新することなくトークンの割り当てを更新するために、OpsSTはアンカー正規化器によってドリフトが制限される低ランクな変形を学習する。 レコメンデーションの監督はストレートスルー推定器を通じてこの変換に到達し、予測は最寄りの符号割り当てを保持する。 OptSTは、代入自体を適応する以外に、インタラクション条件付きプレフィックスを選択して、レコメンデータにどれだけの詳細が露出しているかを制御する。 4つの公開データセットの実験により、OptSTは従来のLCM強化ベースラインの中で最高のAUCを達成することが示された。 その改善は、さまざまなレコメンデーションバックボーンにも及んでいる。 これらの結果から,LLMプロファイルと下流レコメンデーションモデルとの効果的なインターフェースとして,タスク認識型セマンティックトークン化が確立された。

関連論文リスト

• Instructional Prompt Optimization for Few-Shot LLM-Based Recommendations on Cold-Start Users [12.794692175339668]
  コールドスタートユーザ問題はさらに、過去の行動情報へのアクセスを制限するリコメンデータシステムの有効性を損なう。 数ショット大言語モデル(LLM)の命令プロンプトを最適化するための文脈条件付きプロンプト定式化手法を提案する。 LLMパイプラインにおけるコールドスタートレコメンデーション問題に対処する方法の1つとして,プロンプトベースの適応が考えられる。
  論文  参考訳（メタデータ） (2025-09-11T00:13:17Z)
• PITA: Preference-Guided Inference-Time Alignment for LLM Post-Training [9.093854840532062]
  PITAはLLMのトークン生成に直接好みフィードバックを統合する新しいフレームワークである。 PITAは、微調整をせずに、推論時にトークン確率を変更するための、小さな嗜好に基づくガイダンスポリシーを学習する。 我々は,数学的推論や感情分類など,多種多様なタスクにまたがるPITAを評価する。
  論文  参考訳（メタデータ） (2025-07-26T21:46:32Z)
• Aligning Instruction Tuning with Pre-training [61.50161961371844]
  そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。 8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-01-16T08:27:40Z)
• Enhancing Item Tokenization for Generative Recommendation through Self-Improvement [67.94240423434944]
  生成レコメンデーションシステムは大規模言語モデル(LLM)によって駆動される 現在のアイテムトークン化手法には、テキスト記述、数値文字列、離散トークンのシーケンスの使用が含まれる。 自己改善アイテムトークン化手法を提案し,LLMがトレーニングプロセス中に独自のアイテムトークン化を洗練できるようにする。
  論文  参考訳（メタデータ） (2024-12-22T21:56:15Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• DRPT: Disentangled and Recurrent Prompt Tuning for Compositional Zero-Shot Learning [15.580557941267095]
  状態とオブジェクトのプリミティブは、プロンプトに埋め込まれ、目に見えない構成にチューニングされた語彙の学習可能なトークンと見なされる。 プロンプトを段階的に更新できるプログレッシブな微調整手順を開発した。 合成ゼロショット学習における絡み合いの定量化と解析を行う。
  論文  参考訳（メタデータ） (2023-05-02T07:42:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。