論文の概要: Faster Block-Diffusion Serving with Distribution-Free Risk Guarantees

• arxiv url: http://arxiv.org/abs/2609.33887v1
• Date: Sun, 27 Sep 2026 20:05:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 15:54:13.990124
• Title: Faster Block-Diffusion Serving with Distribution-Free Risk Guarantees
• Title（参考訳）: 分散自由リスク保証による高速なブロック拡散
• Abstract要約: ブロック拡散言語モデルは手書きの操作ポイントで提供される。 Mean氏は、より高速な設定が失敗する頻度をオペレータに伝えていないので、遅くなると正しく答える。 Redlineは、キャリブレーションプロンプトの回答の正しさから、手書きまたは学習した操作ポイントを選択する。
• 参考スコア（独自算出の注目度）: 30.747201523049792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Block-diffusion language models are served at hand-picked operating points, such as acceptance thresholds, buffer depth, schedule, checkpoint and precision, and each point is chosen by its mean benchmark accuracy. However, a mean does not tell an operator how often a faster configuration fails on prompts that the slower one answers correctly. On the serving engine and its decode traces, the default commit rule already commits every fully resolved block, a static skip rule captures nearly all of the compute that allocation can save, and self-distillation on engine-decoded targets adds speed at unchanged accuracy. Larger speedups come from lower thresholds, which commit tokens that are still uncertain. We therefore present Redline, a finite-sample procedure that selects operating points, hand-picked or learned, from the correctness of their answers on calibration prompts. Redline keeps the reference-relative risk, the joint probability that the reference answers correctly and a candidate configuration does not, within a user-chosen budget with high probability, and deploys the fastest configuration that passes. It speeds up math at a smaller risk budget than code in both model families, and at a budget of ten percent it deploys a LLaDA2 math configuration that commits over a third more tokens in each forward. It also applies without modification to the acceptance rule of speculative decoding and to weight quantization. On the same calibration data, Redline stays within its stated failure probability, whereas each tolerance of a mean-accuracy rule either gains less speed for some model and task or exceeds the risk budget far more often for another. Code is available at https://github.com/js-lee-AI/Redline.
• Abstract（参考訳）: ブロック拡散言語モデルは、アクセプションしきい値、バッファ深さ、スケジュール、チェックポイント、精度などの手書き操作ポイントで提供され、各ポイントはその平均ベンチマーク精度によって選択される。 しかしながら、平均は、より高速な設定がどれくらい失敗するかをオペレータに伝えないため、遅くなると正しく答える。 サービスエンジンとそのデコードトレースについて、デフォルトのコミットルールは、すでにすべての完全に解決されたブロックをコミットしており、静的スキップルールは、割り当てが保存できる計算のほとんど全てをキャプチャし、エンジンがデコードされたターゲット上での自己蒸留は、精度が変わらないスピードを増す。 より大きなスピードアップは、まだ不確実なトークンをコミットする低いしきい値から来る。 そこで我々は,キャリブレーションプロンプトに対する回答の正しさから操作点,手書きあるいは学習を選択する有限サンプル手法であるレッドラインを提示する。 Redlineは、参照相対リスク、参照が正しく答えるジョイント確率、および候補設定が、高い確率でユーザ勅選予算内に保持し、通過する最も早い設定をデプロイする。 どちらのモデルファミリーのコードよりも小さなリスク予算で数学をスピードアップし、10%の予算でLLaDA2の数学構成をデプロイし、それぞれの前方に3分の1以上のトークンをコミットする。 また、投機的復号法の受容規則や重み量子化にも変更を加えることなく適用できる。 同じキャリブレーションデータでは、レッドラインはその宣言された失敗確率内に留まるが、平均精度ルールのそれぞれの寛容性は、あるモデルとタスクにおいてより少ない速度を得るか、あるいは他のモデルに対してはるかに頻繁にリスク予算を超えるかのいずれかである。 コードはhttps://github.com/js-lee-AI/Redline.comから入手できる。

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Where and When to Commit: Candidate-Aware Decoding for Diffusion Language Models [29.849017661114342]
  拡散言語モデルは、デノナイジングステップ毎に一時的な予測を公開する。 生成時早期出口は、スケジュールが切れる前に復号を停止する。 2つの軸を分離し、それぞれの決定をそれぞれのスコープの証拠と一致させる。
  論文  参考訳（メタデータ） (2026-07-30T13:04:47Z)
• Fast-dLLM++: Fréchet Profile Decoding for Faster Diffusion LLM Inference [45.385819280687514]
  textbfFast-dLLM++は、emphFréchetプロファイルのデコードを導入し、トレーニング不要な拡張である。 Fast-dLLM++はモデル、拡散プロセス、キャッシュの実装を完全に変更していない。 LLaDA-8Bモデルを用いたGSM8K, MATH, HumanEval, MBPP実験により, 理論的改善が直接経験的利得に変換されることが示された。
  論文  参考訳（メタデータ） (2026-06-01T23:18:59Z)
• INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
  本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。 大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
  論文  参考訳（メタデータ） (2025-11-16T20:14:28Z)
• Do LLMs Know They Are Being Tested? Evaluation Awareness and Incentive-Sensitive Failures in GPT-OSS-20B [1.948261185683419]
  本研究では,「評価香り」がコンメンシュレート能力を得ることなく測定性能を膨らませるかどうかを考察する。 6つのペアのA/Bシナリオを実行し、タスク内容を保持し、フレーミングの異なる状態でデコードします。 再現可能なA/Bフレームワーク(バンキング、バリデータ、ラン毎のスコア、スクリプト)と実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-10-08T09:49:05Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• AutoJudge: Judge Decoding Without Manual Annotation [13.451750613294054]
  AutoJudgeは大規模言語モデル(LLM)推論をタスク固有の損失投機的デコードで高速化する手法である。 提案手法は,ターゲットモデルとドラフトモデルとのミスマッチのどれを修正すべきかを,半グレディな探索アルゴリズムに頼っている。
  論文  参考訳（メタデータ） (2025-04-28T17:59:28Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)
• Rapid Person Re-Identification via Sub-space Consistency Regularization [51.76876061721556]
  Person Re-Identification (ReID) は、歩行者を分離したカメラで識別する。 実値特徴記述子を用いた既存のReID法は精度が高いが、ユークリッド距離計算が遅いため効率が低い。 本稿では,ReID 処理を 0.25 倍高速化するサブスペース一貫性規則化 (SCR) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-13T02:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。