論文の概要: An Event is Worth One Token: Event Tokenization for Industrial-scale LLM Recommendation
- arxiv url: http://arxiv.org/abs/2608.25546v2
- Date: Fri, 28 Aug 2026 04:31:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 15:11:36.081824
- Title: An Event is Worth One Token: Event Tokenization for Industrial-scale LLM Recommendation
- Title(参考訳): イベント・ツーケンとは何か:産業規模のLDM勧告のためのイベント・トークン化
- Abstract要約: LLMベースのレコメンデーションは、モデルのキャパシティとシーケンスの長さに沿ってスケールしているが、各位置はテキスト、セマンティックID、またはいくつかのカテゴリの特徴のみをエンコードしている。
イベント中心のパラダイムを提案する。
AMBERは、各時間スナップショットをコンパクトなEvent Tokenに圧縮する。
- 参考スコア(独自算出の注目度): 19.37299590184917
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-based recommendation has scaled along model capacity and sequence length, yet each position encodes only text, semantic IDs, or a few categorical features, discarding rich user, item, context, and outcome signals available at each event. Under autoregressive modeling, this yields weak queries at each position and, since each position becomes context for the next, the degradation compounds across the sequence. We propose an event-centric paradigm that represents each interaction by its full temporal snapshot, and identify a new scaling dimension we term snapshot resolution: the amount of information encoded per event. To efficiently scale snapshot resolution, we introduce AMBER (Autoregressive Modeling via Bottlenecked Event Representation), which compresses each temporal snapshot into a compact Event Token, a new LLM input modality. The representation is learned end-to-end, while Event Tokens are pre-computed and cached for serving, decoupling snapshot resolution from real-time serving compute. On industrial-scale ranking and retrieval benchmarks, AMBER advances the compute-quality Pareto frontier relative to alternative recommendation paradigms. At sufficient capacity, a single unified tokenizer even outperforms dedicated per-entity tokenizers, demonstrating positive transfer across structurally different entity types. AMBER's Event Tokens also transfer across model architectures: when integrated into a heavily optimized non-LLM ranker as serving-time historical features, they yield statistically significant improvements. Further scaling Event Tokenizer capacity provides additional improvements.
- Abstract(参考訳): LLMベースのレコメンデーションは、モデルのキャパシティとシーケンスの長さに沿ってスケールしているが、各位置はテキスト、セマンティックID、またはいくつかのカテゴリの特徴のみをエンコードし、各イベントで利用可能なリッチユーザ、アイテム、コンテキスト、結果シグナルを破棄する。
自己回帰モデリングでは、各位置での弱いクエリが生成され、各位置が次の位置のコンテキストとなるため、その配列をまたいだ分解化合物が生成される。
我々は、イベント中心のパラダイムを提案し、その完全な時間的スナップショットによって各インタラクションを表現し、スナップショット解決と呼ばれる新しいスケーリングディメンション、すなわちイベント毎にエンコードされた情報の量を特定する。
スナップショットの解像度を効率的にスケールするために,各時間スナップショットをコンパクトなイベントトークンに圧縮するAMBER(Autoregressive Modeling via Bottlenecked Event Representation)を導入する。
表現はエンドツーエンドで学習され、Event Tokensは事前に計算されキャッシュされ、スナップショットの解像度をリアルタイムのサービス計算から切り離す。
産業規模のランキングと検索のベンチマークでは、AMBERは代替の推奨パラダイムと比較して計算品質のParetoフロンティアを推し進めている。
十分な能力で、単一の統一トークン化器は専用トークン化器よりも優れ、構造的に異なるエンティティタイプ間で正の転送を示す。
AMBERのイベントトークンは、モデルアーキテクチャ間でも転送される: リアルタイムの歴史的特徴として高度に最適化された非LLMローダに統合されると、統計的に重要な改善をもたらす。
Event Tokenizerのさらなるスケーリングは、さらなる改善を提供する。
関連論文リスト
- SlimPer: Make Personalization Model Slim and Smart [20.68857468213109]
SlimPer は,コンパクトで統一されたユーザ,項目> 知識基盤の反復的改良としてパーソナライズされたランキングを再構築する。
SlimPerは単一のバックボーン内でスパース、シークエンス、シークエンス機能を統一し、アテンションメカニズムを通じて固有の解釈性を提供する。
論文 参考訳(メタデータ) (2026-07-14T02:31:32Z) - Sample Is Feature: Beyond Item-Level, Toward Sample-Level Tokens for Unified Large Recommender Models [14.332200648147863]
textbfSIF (emphSample Is Feature) を提案する。
textbfSample Tokenizerは、各歴史的なRawサンプルを階層的なグループ適応量子化によってTokenサンプルに量子化する。
textbfSIF-Mixerは、トークンレベルとサンプルレベルの混合を通じて、同種サンプル表現に対する深い特徴相互作用を行い、モデルの表現能力を完全に解放する。
論文 参考訳(メタデータ) (2026-04-17T02:47:31Z) - Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation [66.53544128707817]
Cheersは、パッチレベルの詳細をセマンティック表現から切り離す、統一されたマルチモーダルモデルである。
チェアは視覚的理解と生成の両方において、高度なUMMと一致または超えます。
論文 参考訳(メタデータ) (2026-03-13T08:55:27Z) - E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching [87.38371267983263]
時間的ビデオグラウンディングは、クエリイベントに対応する時間セグメントを正確にローカライズすることを目的としている。
E.M.GroundはTVGのための新しいVid-LLMで、総合的で一貫性のあるイベント知覚に焦点を当てている。
E.M.Ground は最先端の Vid-LLM を著しく上回っている。
論文 参考訳(メタデータ) (2026-02-05T02:16:00Z) - EventSTU: Event-Guided Efficient Spatio-Temporal Understanding for Video Large Language Models [56.16721798968254]
本研究では,EventSTUという,効率的な理解のためのイベント誘導学習自由フレームワークを提案する。
時間領域において、不要な大フレームを除去するために、イベントカメラのトリガー特性を変化させる粗大なサンプリングアルゴリズムを設計する。
空間領域では,イベントの正当性をゼロコストとして活用し,空間的縮小を誘導する適応的トークンプルーニングアルゴリズムを実現する。
論文 参考訳(メタデータ) (2025-11-24T09:30:02Z) - LET-US: Long Event-Text Understanding of Scenes [23.376693904132786]
イベントカメラは、マイクロ秒レベルの時間分解能を備えたスパースで非同期なデータとしてイベントストリームを出力する。
長いイベントストリーム・テキスト理解のためのフレームワークであるLET-USを紹介する。
適応圧縮機構を用いて、重要な視覚的詳細を保存しながら入力イベントの量を削減する。
論文 参考訳(メタデータ) (2025-08-10T16:02:41Z) - Single-pass Adaptive Image Tokenization for Minimum Program Search [75.59409288259151]
本稿では,単一前方通過における画像に対する適切なトークン数を予測する単一パス適応型トークン化器KARLを提案する。
KARLは、1回のパスで動作しながら、最近の適応トークン化器の性能と一致する。
論文 参考訳(メタデータ) (2025-07-10T17:59:53Z) - BiXFormer: A Robust Framework for Maximizing Modality Effectiveness in Multi-Modal Semantic Segmentation [55.486872677160015]
マスクレベルの分類タスクとしてマルチモーダルなセマンティックセグメンテーションを再構成する。
統一モダリティマッチング(UMM)とクロスモダリティアライメント(CMA)を統合したBiXFormerを提案する。
合成および実世界のマルチモーダルベンチマーク実験により,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2025-06-04T08:04:58Z) - MMRL++: Parameter-Efficient and Interaction-Aware Representation Learning for Vision-Language Models [4.828668077793944]
マルチモーダル表現学習は、テキストと画像エンコーダの両方に投影された空間トークンを表現トークンとして生成する。
MML++はパラメータ効率と対話性を考慮した拡張で、トレーニング可能なパラメータを大幅に削減する。
15データセットの実験では、MMRLとMMRL++が一貫して最先端のメソッドより優れていることが示されている。
論文 参考訳(メタデータ) (2025-05-15T08:43:53Z) - CAMeL: Cross-modality Adaptive Meta-Learning for Text-based Person Retrieval [22.01591564940522]
モデル一般化能力を高めるために,クロスモーダル適応メタラーニング(CAMeL)に基づくドメインに依存しない事前学習フレームワークを提案する。
特に,現実シナリオの多様性と複雑さを反映した一連のタスクを開発する。
提案手法は,実世界のベンチマークにおける既存手法を超越するだけでなく,ロバスト性やスケーラビリティも示す。
論文 参考訳(メタデータ) (2025-04-26T03:26:30Z) - VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。
Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
論文 参考訳(メタデータ) (2025-03-21T09:46:31Z) - PASS: Path-selective State Space Model for Event-based Recognition [12.651829415097758]
イベントカメラは、高時間分解能などの利点を持つバイオインスパイアされたセンサーである。
当社のPASSフレームワークは,高次イベントモデリングに優れた能力を示す。
私たちの重要な洞察は、状態空間モデルを通じて適応的に符号化されたイベント機能を学ぶことです。
論文 参考訳(メタデータ) (2024-09-25T14:08:37Z) - SQLNet: Scale-Modulated Query and Localization Network for Few-Shot Class-Agnostic Counting [67.97870844244187]
CAC(class-agnostic counting)タスクは、最近、任意のクラスの全てのオブジェクトを、入力画像にいくつかの例を付与してカウントする問題を解くために提案されている。
我々は、スケール変調クエリーおよびローカライズネットワーク(Net)と呼ばれる、新しいローカライズベースのCACアプローチを提案する。
クエリとローカライゼーションの段階において、模範者のスケールを完全に探求し、各オブジェクトを正確に位置付けし、その近似サイズを予測することで、効果的なカウントを実現している。
論文 参考訳(メタデータ) (2023-11-16T16:50:56Z) - Continuous-time convolutions model of event sequences [46.3471121117337]
イベントシーケンスは不均一でスパースであり、従来のモデルは不適当である。
我々は、時間とともに一様でない事象の発生を処理するために設計された効率的な畳み込みニューラルネットワークに基づくCOTICを提案する。
COTICは、次のイベント時間とタイプを予測する際に既存のモデルよりも優れており、最も近いライバルの3.714と比較して平均1.5のランクに達している。
論文 参考訳(メタデータ) (2023-02-13T10:34:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。