論文の概要: How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus

• arxiv url: http://arxiv.org/abs/2609.15504v1
• Date: Mon, 14 Sep 2026 12:55:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.400629
• Title: How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus
• Title（参考訳）: 損失のない投機的復号法はどんなものか? : オースラスにおける数値精度の役割
• Abstract要約: Orthrusは、自己回帰型言語モデル推論を加速するハイブリッドな自己回帰型拡散アーキテクチャである。 下流のlm-eval-harnessベンチマークでは,Orthrusは体系的な劣化を示していない。 これらの結果から,オルトラスの実用的ロスレス性は数値的精度に依存し,下流タスク性能とは独立して正確な軌道等価性を評価すべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 2.8085287956974905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Orthrus is a hybrid autoregressive-diffusion architecture that accelerates autoregressive language-model inference by generating multiple tokens in parallel while using a frozen autoregressive backbone. Its central claim is that an intra-model consensus mechanism enables lossless speculative decoding, producing the same output sequence as the autoregressive model. We independently reproduce Orthrus and examine this claim under different numerical precisions. Under BF16 inference, exact trajectory matching occurs in only 45% of cases for the authors' checkpoint and 43% for our independently trained model across 1,190 prompts from 12 domains. The probability of exact matching is also strongly associated with the response-conditional perplexity of the reference model. Despite this trajectory divergence, Orthrus does not show systematic degradation on downstream lm-eval-harness benchmarks. In contrast, repeating the trajectory evaluation with FP32 yields exact trajectory matching on all evaluated prompts. These results show that the practical losslessness of Orthrus depends on numerical precision and that exact trajectory equivalence should be evaluated separately from downstream task performance.
• Abstract（参考訳）: Orthrusは、凍結した自己回帰バックボーンを使用して複数のトークンを並列に生成することで、自己回帰言語モデル推論を加速するハイブリッド自己回帰拡散アーキテクチャである。 その中心的な主張は、モデル内コンセンサス機構が損失のない投機的復号を可能にし、自己回帰モデルと同じ出力シーケンスを生成することである。 我々はOrthrusを独立に再現し、この主張を異なる数値精度で検証する。 BF16推論では、著者のチェックポイントの45%のケースで正確な軌道マッチングが行われ、12のドメインから1,190のプロンプトで独立に訓練されたモデルでは43%である。 正確なマッチングの確率は、参照モデルの応答条件パープレキシティと強く関連している。 このような軌道の分岐にもかかわらず、オルトラスは下流のlm-eval-harnessベンチマークにおいて体系的な劣化を示さない。 対照的に、FP32による軌道評価を繰り返すと、評価された全てのプロンプトに対して正確な軌道マッチングが得られる。 これらの結果から,オルトラスの実用的ロスレス性は数値的精度に依存し,下流タスク性能とは独立して正確な軌道等価性を評価すべきであることが示唆された。

関連論文リスト

• OrchestraBench: Evaluating Multi-Agent Orchestration Failure Modes, Recovery, and Decomposition Quality [0.0]
  OrchestraBenchは、テンプレート化されたエンタープライズ上で、制御された、シード再現可能な障害注入ハーネスを通じて、障害、リカバリ、分解を評価する。 主要な指標としてカスケード半径とフェイルモード毎のリカバリを導入し、ルーティングポリシをブートストラップの信頼性間隔とペアテストと比較する。
  論文  参考訳（メタデータ） (2026-08-05T17:27:15Z)
• Speculative Refinement: A Hybrid Autoregressive Diffusion Decoding Strategy and Its Behavior Across Benchmarks [1.9800951131982487]
  我々はSpecRef(Speculative Refinement)を用いて、ARドラフトからマスク付き拡散言語モデルをウォームスタートする。 We evaluate SpecRef across six benchmarks (HumanEval, MBPP, GSM8K, BBH, ARC-Challenge, HellaSwag) with three distinct evaluation protocol。 これらの観察は、多段階または非自己回帰生成パイプラインに適用され、より診断評価の実践に向けて向けられる。
  論文  参考訳（メタデータ） (2026-06-25T18:52:24Z)
• Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA [2.255961793913651]
  クロスエンコーダは、連続的な摂動に基づく帰属スコアに基づいて、生成前に経路を再ランクするよう訓練した。 異なるモデルで独立に訓練された2つのリランカーは、生の帰属契約を超えて収束する。 その結果、摂動に基づく帰属は、引用認識検索のための実用的、モデルに依存しない訓練信号を提供することを示した。
  論文  参考訳（メタデータ） (2026-06-02T14:48:33Z)
• Memory by Design: Probabilistic Sequence Layers [19.16406809753255]
  本稿では,メモリに関する明示的な仮定から,効率的な逐次シーケンスマップを導出する方法を提案する。 設計モデルは、正確なベイズフィルタリングによって証拠を記憶に書き込む。 クエリ依存の読み出しは、平均が層出力である予測分布を生成する。
  論文  参考訳（メタデータ） (2026-05-29T11:13:00Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
  並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。 動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。 我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
  論文  参考訳（メタデータ） (2025-10-09T17:24:54Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。