論文の概要: LEGIT: Live Eligibility Gating over Identifier Tries for Constrained Decoding of Heterogeneous Pages
- arxiv url: http://arxiv.org/abs/2611.10357v2
- Date: Fri, 13 Nov 2026 10:53:39 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:45.79896
- Title: LEGIT: Live Eligibility Gating over Identifier Tries for Constrained Decoding of Heterogeneous Pages
- Title(参考訳): LEGIT:不均質なページの制約付きデコードのための識別子試行を乗り越えるライブの適性
- Abstract要約: 生成推奨者は、各候補に短いトークンシーケンス、セマンティックIDを指定し、それらのトークンを生成することで推奨する。
例えば、構築中のUber Eats検索エンジン、検索結果ページ全体、メニューのアイテムを1つのデコードパスに格納するなどです。
そのようなページ上のすべてのセマンティックIDは、検索に適する実際のストアやアイテムを指定しなければならない。
私たちはこの制約を LEGIT と呼びます。
- 参考スコア(独自算出の注目度): 4.093820180836931
- License:
- Abstract: A generative recommender names each candidate with a short token sequence, a Semantic ID, and recommends by generating those tokens. Some generative recommenders, including the Uber Eats search engine we are building, write a whole results page, stores with their menu items, in one decoding pass. Every Semantic ID on such a page must name a real store or item that is eligible for the search, such as a store that delivers to the user's location, and that is not already on the page. Each item must also belong to the store above it. A trie over the catalog keeps identifiers real, but eligibility and repetition change with every request and token, and the grammar-constrained decoder we tried could not enforce these changing rules exactly and quickly. We call this constraint LEGIT, for live eligibility gating over identifier tries. Numbering trie leaves depth first turns each rule into a range lookup over one store trie and one item trie, and every generated page passes an independent catalog check. On one NVIDIA B200 GPU with one or two requests per decode step, a direct implementation that walks the trie on the GPU makes each token about 5 times as slow as unconstrained decoding. Across 36 implementations, hardware counters and ablations are consistent with kernel launches and CPU-GPU waits as the source of this slowdown. Our fastest implementation walks the trie on the CPU while the GPU runs the model, needs no custom kernel, and cuts time per output token by 65.9 percent against the direct GPU implementation, to about 1.7 times the unconstrained cost. This implementation is also the fastest on a page layout that puts each item before its store.
- Abstract(参考訳): 生成推奨者は、各候補に短いトークンシーケンス、セマンティックIDを指定し、それらのトークンを生成することで推奨する。
例えば、構築中のUber Eats検索エンジン、検索結果ページ全体、メニューのアイテムを1つのデコードパスに格納するなどです。
そのようなページ上のすべてのセマンティックIDは、検索に適する実際のストアやアイテムを指定しなければならない。
各アイテムは、その上の店にも属さなければならない。
カタログのトリエは識別子を本物に保ちますが、すべてのリクエストとトークンで適性や繰り返しが変わりますし、私たちが試した文法制約のデコーダは、これらの変更ルールを正確にかつ迅速に強制することはできませんでした。
私たちはこの制約を LEGIT と呼びます。
ナンバリング・トリエは、まず各ルールを1つのストア・トリエと1つのアイテム・トリエのレンジ・ルックアップに変換し、生成されたページは独立したカタログチェックをパスする。
デコードステップ毎に1つまたは2つのリクエストがある1つのNVIDIA B200 GPUでは、GPUでトリエをウォーキングする直接実装により、各トークンは制約のないデコーディングの約5倍の遅くなります。
36実装以上で、ハードウェアカウンタとアブレーションはカーネルの起動と一致しており、CPU-GPUはこのスローダウンのソースとして待機する。
当社の最も高速な実装は、GPUがモデルを実行している間、CPU上でトリエを保ち、カスタムカーネルを必要とせず、直接GPU実装に対して出力トークン当たりの時間を65.9%削減し、制約のないコストの約1.7倍に削減しました。
この実装は、各アイテムをストアの前に配置するページレイアウトでも最速である。
関連論文リスト
- SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding [56.465476123939816]
デプロイ毎にアルゴリズムとシステム最適化を検出する,自律エージェントループであるSpecPilotを提案する。
対象モデルを4つ,ドラフト3つ,プラットフォーム2つ,ベンチマーク5つに分けて評価した。
論文 参考訳(メタデータ) (2026-11-02T04:21:47Z) - PinGER: Token-Efficient Generative Retrieval with Semantic IDs [10.35379326054064]
アイテムのセマンティックID(SID)のトークン・バイ・トークン復号化による近傍探索の高速化
本稿では,入力履歴をコンパクトにしながらSID出力を保持する,PinterestのジェネレーティブレトリバーであるPinGERを紹介する。
論文 参考訳(メタデータ) (2026-10-24T04:24:45Z) - Separating Thinking from Spelling for Efficient Generative Recommendation [3.888911542098557]
生成レコメンデーションは、トリエ制約ビームサーチの下でコードでセマンティックID(SID)コードを書くことでアイテムを検索する。
Deco(概念から復号する)を導入し、歴史を読み取るのと識別子を書くのを分離する。
電子商取引、映画、音楽ストリーミングの7つのデータセットで、Decoは標準的な生成的推薦者とフルバックボーンの教師の両方に匹敵する、あるいはより良い精度を達成している。
論文 参考訳(メタデータ) (2026-10-23T17:59:24Z) - Scaling Speculative Decoding with Lookahead Reasoning [11.349400331288257]
トークンレベルの投機的復号法(SD)は有効だが、その利点は秘められている。
並列性の第2段層を利用したLookahead Reasoningを開発した。
Lookahead Reasoningは、回答の品質を維持しながら、SDの1.4倍から2.1倍のスピードアップを改善する。
論文 参考訳(メタデータ) (2025-06-24T17:48:10Z) - Generating Long Semantic IDs in Parallel for Recommendation [29.97624755406803]
セマンティックIDベースのリコメンデーションのための軽量フレームワークであるRPGを提案する。
我々は、マルチトークン予測損失を用いて、各トークンを独立して予測するようにモデルを訓練する。
実験の結果、セマンティックIDの長さを64にスケールアップすることで、RPGは生成ベースラインを上回ります。
論文 参考訳(メタデータ) (2025-06-06T06:20:37Z) - REN: Fast and Efficient Region Encodings from Patch-Based Image Encoders [48.93587822355874]
Region Network (REN) は、ポイントプロンプトを用いて領域ベースの画像表現を生成するための高速で効果的なモデルである。
RENは、リージョントークンを直接生成する軽量モジュールを使用して、このボトルネックをバイパスする。
これはいくつかのクロスアテンションブロックを使用し、ポイントプロンプトをクエリとして取り、パッチベースのイメージエンコーダからキーと値として機能してリージョントークンを生成する。
論文 参考訳(メタデータ) (2025-05-23T17:59:33Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳(メタデータ) (2024-05-28T22:19:30Z) - Minuet: Accelerating 3D Sparse Convolutions on GPUs [9.54287796030519]
スパース・コンボリューション(SC)は、本質的にスパースである3Dポイント・クラウドの処理に広く用いられている。
本研究では,従来の最先端のSCエンジンの欠点を分析し,最新のGPUに適した新しいメモリ効率のSCエンジンであるMinuetを提案する。
私たちの評価では、エンド・ツー・エンドのクラウド・ネットワークの実行に対して平均1.74時間(最大22.22時間)で、Minuetは以前のSCエンジンよりも大幅にパフォーマンスが向上している。
論文 参考訳(メタデータ) (2023-12-01T05:09:02Z) - CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for
Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。
これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。
動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
論文 参考訳(メタデータ) (2022-11-18T18:27:35Z) - Tackling Long Code Search with Splitting, Encoding, and Aggregating [67.02322603435628]
長いコード検索のための新しいベースラインSEA(Split, Encode, Aggregate)を提案する。
長いコードをコードブロックに分割し、これらのブロックを埋め込みにエンコードし、それらを集約して包括的な長いコード表現を得る。
エンコーダとしてGraphCodeBERTを使用すると、SEAはコードSearchNetベンチマークでGraphCodeBERTよりも10.1%高い0.785という総合的な平均逆ランキングスコアを達成する。
論文 参考訳(メタデータ) (2022-08-24T02:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。