Fugu-MT 論文翻訳(概要): Depth Exploration for LLM Decoding

論文の概要: Depth Exploration for LLM Decoding

arxiv url: http://arxiv.org/abs/2606.29223v1
Date: Sun, 28 Jun 2026 06:22:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:15.83779
Title: Depth Exploration for LLM Decoding
Title（参考訳）: LLM復号化のための深さ探索
Abstract要約: LLM復号は、中間深度で多くのトークンが予測可能であるにもかかわらず、すべての生成されたトークンをフル層スタックを通して評価する。深度探索復号法 (DEX) を提案し, 単一深度選択を複数の候補深度での並列探索に置き換える。 DEXは、代表的な深さ選択ベースラインより優れ、投機的および分散復号法と競合するエンドツーエンドスループットを実現する。
参考スコア（独自算出の注目度）: 0.920033202445524
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Autoregressive LLM decoding evaluates every generated token through the full layer stack, even though many tokens become predictable at intermediate depths. Existing lossless depth-adaptive methods exploit this redundancy by choosing a single non-final exit depth and verifying its prediction with the final-depth model. However, our measurements show that this selection-based strategy leaves substantial headroom: choosing an exit too late wastes computation, while choosing one too early triggers fallback and discards dependent drafts. We propose Depth Exploration Decoding (DEX), a lossless decoding algorithm that replaces single-depth selection with parallel exploration over multiple candidate depths. At each commit position, DEX validates candidates against the final-depth reference, commits exactly the final-depth token, and collapses the exploration lattice to retain only reusable branch states. This expand--commit--collapse procedure preserves equivalence to standard autoregressive decoding while reducing the cost of committing each token. Across early-exit-trained and standard LLMs, DEX outperforms representative depth-selection baselines and achieves competitive end-to-end throughput against speculative and distributed decoding methods. Moreover, DEX improves as the explored depths become finer, showing that parallel depth exploration provides a scalable way to exploit the underused depth axis of LLM decoding.
Abstract（参考訳）: 自己回帰LDM復号は、中間深度で多くのトークンが予測可能であるにもかかわらず、全層スタックを通して生成されたトークンを評価する。既存のロスレス深度適応法はこの冗長性を利用して、1つの非最終出口深さを選択し、その予測を最終深度モデルで検証する。しかし、我々の測定では、この選択ベースの戦略は、エグジットの選択が遅すぎると計算を無駄にし、早すぎるトリガの選択はフォールバックを発生させ、依存するドラフトを破棄する、という、かなりのヘッドルームを残している。本稿では,DEX(Depth Exploration Decoding)を提案する。DEX(Depth Exploration Decoding)は,単一深度選択を複数の候補深度に対する並列探索に置き換える無損失復号アルゴリズムである。各コミット位置において、DEXは最終深度参照に対して候補を検証し、正確に最終深度トークンをコミットし、再利用可能な分岐状態のみを保持するために探索格子を崩壊させる。この拡張-コミット-崩壊手順は、トークンのコミットコストを削減しつつ、標準自己回帰復号と等価性を保っている。早期学習および標準LLM全体で、DECは代表的な深度選択ベースラインを上回り、投機的および分散復号法と競合するエンドツーエンドスループットを実現する。さらに、探索深度がより細かくなり、並列深度探索がLLM復号の未使用深度軸を利用するスケーラブルな方法を提供することを示すことにより、DECは改善される。

関連論文リスト

ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
論文参考訳（メタデータ） (2026-08-25T11:25:55Z)
Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。 RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
論文参考訳（メタデータ） (2026-08-12T07:32:29Z)
Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding [92.1521161575198]
我々は、最も信頼性の高いニアファイナル層を動的に選択する、トレーニング不要なデコーディング戦略であるConfident Decodingを紹介する。密集型および混合型LLMの実験は、挑戦的推論ベンチマークにおいて一貫した利得を示す。
論文参考訳（メタデータ） (2026-06-20T07:03:26Z)
Zero-shot Depth Completion via Test-time Alignment with Affine-invariant Depth Prior [15.802986215292309]
本研究では,アフィン不変深度拡散モデルとテスト時間アライメントからなるゼロショット深度補完法を提案する。提案手法では,アフィン不変深度を計量スケールのスパース測定と整合させ,テスト時に最適化ループを通した厳密な制約として適用する。
論文参考訳（メタデータ） (2025-02-10T10:38:33Z)
SemHint-MD: Learning from Noisy Semantic Labels for Self-Supervised Monocular Depth Estimation [19.229255297016635]
自己教師付き深度推定は、光度損失の勾配-局所性の問題により、局所的に最小限に抑えられる。セマンティックセグメンテーションを活用して、ネットワークを局所的な最小限から切り離すための奥行きを高めるためのフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-31T17:20:27Z)
Towards Domain-agnostic Depth Completion [28.25756709062647]
既存の深度補完法は、しばしば特定のスパース深度型を目標とし、タスク領域をまたいだ一般化が不十分である。各種センサで得られたスパース/セミデンス,ノイズ,および低分解能深度マップを完備する手法を提案する。本手法は,最先端の深度補完法に対して優れたクロスドメイン一般化能力を示す。
論文参考訳（メタデータ） (2022-07-29T04:10:22Z)
Densely Constrained Depth Estimator for Monocular 3D Object Detection [48.12271792836015]
モノクロ画像から物体の正確な3D位置を推定することは、深さが不足しているため難しい問題である。任意の方向の端から高密度な射影制約を利用する手法を提案する。提案手法は, KITTI および WOD ベンチマーク上での最先端性能を実現する。
論文参考訳（メタデータ） (2022-07-20T17:24:22Z)
Robust Depth Completion with Uncertainty-Driven Loss Functions [60.9237639890582]
本研究では,不確実性による損失関数を導入し,深度補修の堅牢性を改善し,深度補修の不確実性に対処する。提案手法は,KITTI深度評価ベンチマークでテストされ,MAE, IMAE, IRMSEの計測値を用いて最先端のロバスト性性能を達成した。
論文参考訳（メタデータ） (2021-12-15T05:22:34Z)
Direct Depth Learning Network for Stereo Matching [79.3665881702387]
ステレオマッチングのための新しいダイレクトディープス学習ネットワーク(DDL-Net)が設計されている。 DDL-Netは、粗度推定段階と適応勾配深度補正段階の2段階からなる。我々は,DDL-NetがSceneFlowデータセットで25%,DrivingStereoデータセットで12%の平均的な改善を実現していることを示す。
論文参考訳（メタデータ） (2020-12-10T10:33:57Z)
Deep feature fusion for self-supervised monocular depth prediction [7.779007880126907]
スクラッチから自己教師付き深度を学習するための深部特徴融合法を提案する。核融合ネットワークはエンコーダネットワークの各レベルにおける上層と下層の両方の機能を選択する。また,高次深度と低次深度深度から高次残留深度を学習する改良モジュールを提案する。
論文参考訳（メタデータ） (2020-05-16T09:42:36Z)
Don't Forget The Past: Recurrent Depth Estimation from Monocular Video [92.84498980104424]
私たちは3つの異なる種類の深さ推定を共通のフレームワークに組み込んだ。提案手法は, 時系列の深度マップを生成する。モノクロビデオにのみ適用したり、異なる種類のスパース深度パターンと組み合わせたりすることができる。
論文参考訳（メタデータ） (2020-01-08T16:50:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。