論文の概要: Polestar: Drift-Aware Cache Calibration and Token Commitment for Efficient Inference of Diffusion LLMs

• arxiv url: http://arxiv.org/abs/2607.14107v1
• Date: Thu, 07 May 2026 18:05:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.009645
• Title: Polestar: Drift-Aware Cache Calibration and Token Commitment for Efficient Inference of Diffusion LLMs
• Title（参考訳）: Polestar:拡散LDMの効率的な推論のためのドリフト対応キャッシュキャリブレーションとトークンコミット
• Abstract要約: Polestarは、トークン表現のドリフトを統一信号として使用して、両方の課題に共同で対処する、トレーニング不要な推論フレームワークである。 最大10.73%の精度向上、最大3.7倍のスループット、前方の3.67トークンの高復号並列化を実現している。
• 参考スコア（独自算出の注目度）: 16.15304662976145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The inference efficiency of diffusion large language models (dLLMs) is constrained by two challenges: bidirectional attention precludes efficient KV-cache reuse, while increasing decoding parallelism with static confidence thresholds can compromise generation quality. We observe that both challenges arise from a shared phenomenon: as tokens are decoded, their contextual integration through bidirectional attention causes token representations to drift (evolve) across decoding steps. This insight motivates Polestar, a training-free inference framework that uses token representation drift as a unified signal to jointly address both challenges. Polestar comprises two components: Polestar-Cache, which identifies stale KV-cache positions via drift and performs sparse KV-cache refreshes to enable efficient reuse, and Polestar-Commit, which detects sharp drift events to reliably identify commit-ready tokens. Across mathematics and coding benchmarks on several dLLM families, Polestar sets a new state of the art on the accuracy-throughput Pareto frontier, achieving up to 10.73% accuracy improvement, up to 3.7x higher throughput, and high decoding parallelism of 3.67 tokens per forward pass over existing baselines.
• Abstract（参考訳）: 拡散大言語モデル(dLLM)の推論効率は、双方向の注意が効率的なKV-cacheの再利用を妨げる一方で、静的な信頼しきい値による復号化が生成品質を損なうという2つの課題によって制限されている。 トークンがデコードされるにつれて、双方向の注意によるコンテキスト統合によって、トークン表現がデコードステップを越えて漂流(進化)する。 この洞察は、トークン表現ドリフトを統一信号として使用して両方の課題に共同で対処する、トレーニング不要な推論フレームワークであるPoestarを動機付けている。 Polestar-Cacheは、ドリフトを介して古いKV-cacheの位置を識別し、効率的な再利用を可能にするスパースKV-cacheリフレッシュを実行する。 数種類のdLLMファミリーの数学とコーディングのベンチマークを通じて、Poestarは精度・スループットのParetoフロンティアに新たな最先端の技術を設定し、最大10.73%の精度向上、最大3.7倍のスループット、既存のベースラインを前方通過する3.67トークンのハイデコード並列性を実現した。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
  投機的復号化はLarge Language Model (LLM)推論を加速させる。 最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。 我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
  論文  参考訳（メタデータ） (2026-07-06T14:28:06Z)
• Follow the Latent Roadmap: Navigating Revocable Decoding for Diffusion LLMs with Anchor Tokens [22.687236570529844]
  本稿では,組込み空間内で動作するトレーニングフリーフレームワークASRDを提案する。 我々はASRDが最近のリメイキングベースラインを上回り、最大6.4%の精度向上を実現し、推論スループットを最大7.2倍に向上させることを示した。
  論文  参考訳（メタデータ） (2026-06-15T15:23:47Z)
• Efficient Diffusion LLMs via Temporal-Spatial Parallel Decoding and Confidence Extrapolation [15.129362213838974]
  2つのコンポーネントを持つトレース対応復号化フレームワークを提案する。 まず、時間空間並列復号(TSPD)は、トークンが収束し、安全に固定できるかどうかを決定するために、信頼、エントロピー、運動量を含む、トーケン軌道毎の特徴を消費する軽量な時間空間コントローラを使用する。 第二に、CE(Confidence Extrapolation)は、トレーニング不要な状態空間モジュールで、前向きな決定を支援するために、不確実性を伴う将来のロジットトレンドを予測する。
  論文  参考訳（メタデータ） (2026-05-29T02:29:28Z)
• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• DC-Leap: Training-Free Acceleration of dLLMs via Draft-Guided Contiguous Leaping Decoding [52.13809682603516]
  DC-Leapは、中程度信頼体制におけるdLLMの信頼性の高いアクセラレーションを可能にする、トレーニング不要のフレームワークである。 厳密に順序付けられた因果制約を並列復号プロセスに組み込む。 KVキャッシュと組み合わせると、MBPPでは最大53.19倍、最大105.02倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-05-19T06:27:58Z)
• Breaking Block Boundaries: Anchor-based History-stable Decoding for Diffusion Large Language Models [54.468024377748]
  本稿では,Anchor-based History-stable Decoding (AHD) を提案する。 AHDは動的アンカーを通してトークンの安定性トレンドをリアルタイムで監視する。 当社のアプローチでは、デコーディングのステップを80%削減し、パフォーマンスを3.67%向上させています。
  論文  参考訳（メタデータ） (2026-04-10T05:08:39Z)
• Stateful Token Reduction for Long-Video Hybrid VLMs [69.6930118088911]
  ハイブリッドビデオビジョン言語モデル(VLM)のクエリ条件付きトークン削減について検討する。 本稿では,低段階から高段階の減算スケジュールと,注意とマンバブロックの両ブロックを対象とした言語認識スコアリング機構を提案する。 積極的圧縮条件下では,本手法はテスト時にほぼベースライン精度で精度の高いプリフィルング・スピードアップを実現する。
  論文  参考訳（メタデータ） (2026-02-27T08:11:06Z)
• Pay Attention to CTC: Fast and Robust Pseudo-Labelling for Unified Speech Recognition [61.39209522608919]
  統一音声認識は、音声、視覚、および聴覚の音声認識のための単一のモデルを訓練するための半教師付きフレームワークとして登場した。 そこでは,CTCの擬似ラベルをアテンションターゲットを生成するためにデコーダに入力するCTC駆動型教師強制方式を提案する。 CTCとCTC駆動のアテンション擬似ラベルは同じ長さであるため、デコーダは両方を同時に予測できる。
  論文  参考訳（メタデータ） (2026-02-22T19:38:21Z)
• NOSA: Native and Offloadable Sparse Attention [27.551376861663556]
  我々は、KVキャッシュオフロードをサポートするために設計された訓練可能なスパースアテンションフレームワークであるNOSAを提案する。 我々はNOSAが復号スループットを最大2.3倍に向上させながら、ほぼロスレス性能を保っていることを示す。
  論文  参考訳（メタデータ） (2025-10-15T14:33:16Z)
• Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation [84.00166854547241]
  拡散変換器(DiT)はビデオ生成に必須であるが,注意の2次複雑さにより遅延が著しく低下する。 SVG2は,識別精度を最大化し,無駄を最小化する学習自由フレームワークである。
  論文  参考訳（メタデータ） (2025-05-24T21:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。