論文の概要: Beyond Truncation: Rethinking LLM Decoding as Ensemble Pruning

• arxiv url: http://arxiv.org/abs/2609.18723v1
• Date: Wed, 16 Sep 2026 14:23:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.837117
• Title: Beyond Truncation: Rethinking LLM Decoding as Ensemble Pruning
• Title（参考訳）: トランニケーションを超えて - LLMデコーディングをアンサンブルプルーニングとして再考
• Abstract要約: 本稿では,新しいLarge Language Model (LLM)デコーディングフレームワークであるMahalanobis-Ensemble Decoding (ME-Decoding)を紹介する。 MEデコードフレームはアンサンブルプルーニングとして候補トークン選択を行う。
• 参考スコア（独自算出の注目度）: 5.75861289611417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Mahalanobis-Ensemble Decoding (ME-Decoding), a novel Large Language Model (LLM) decoding framework that frames candidate token selection as ensemble pruning. Existing selection strategies rely predominantly on scalar probabilities, ignoring geometric semantic relationships and causing candidate redundancy. Meanwhile, current geometry-aware methods often require complex optimization or directly reweighting the original token probabilities, leading to significant computational overhead or inference instability. To address this, we formulate decoding as a subset optimization problem using a Mahalanobis distance-driven objective to enhance semantic diversity while preserving high probabilities. Specifically, we dynamically discount redundant generation paths using a token similarity matrix, constructed via an adaptive-bandwidth kernel over token embeddings. We further devise an efficient greedy selection algorithm with near-linear complexity in the candidate size under early stopping, while establishing its theoretical approximation guarantees. This renders ME-Decoding a robust, plug-and-play module with negligible inference overhead. Extensive experiments across diverse reasoning and generation tasks demonstrate that our method consistently achieves strong performance.
• Abstract（参考訳）: 本稿では,新たなLarge Language Model (LLM)デコーディングフレームワークであるMahalanobis-Ensemble Decoding (ME-Decoding)を紹介する。 既存の選択戦略はスカラー確率に大きく依存しており、幾何学的意味的関係を無視し、候補の冗長性を引き起こす。 一方、現在の幾何学的手法では、しばしば複雑な最適化や、元のトークンの確率を直接重み付けする必要がある。 これを解決するために,マハラノビス距離駆動目標を用いた部分集合最適化問題としてデコーディングを定式化し,高い確率を保ちながら意味的多様性を高める。 具体的には,適応帯域カーネルを用いて構成したトークン類似度行列を用いて,冗長な生成経路を動的に割引する。 さらに,理論的な近似保証を確立しつつ,早期停止下での候補サイズをほぼ直線的に複雑化する効率的なグリーディ選択アルゴリズムを考案する。 これによりME-Decodingは、無視可能な推論オーバーヘッドを持つ堅牢なプラグイン・アンド・プレイモジュールをレンダリングする。 多様な推論および生成タスクにわたる広範囲な実験により、我々の手法が常に高い性能を達成することを示す。

関連論文リスト

• Entropy-informed Decoding: Adaptive Information-Driven Branching [5.954754354938324]
  大規模言語モデル(LLM)は、優れた生成性能を達成するが、その出力品質はデコード戦略に依存している。 本稿では,モデルの不確実性に基づいて適応的にアロケートするモデルに依存しないデコードフレームワークであるEntropy-informed Decoding (EDEN)を紹介する。 EDENは、既存のデコード戦略よりも出力品質を一貫して改善し、固定幅ビームサーチよりも精度と拡張のトレードオフを向上する。
  論文  参考訳（メタデータ） (2026-05-10T20:44:47Z)
• Joint Semantic Token Selection and Prompt Optimization for Interpretable Prompt Learning [57.91658393667469]
  Interpretable Prompt Learningは、個別の意味トークンの選択と連続的なプロンプト最適化を交互に行うハイブリッドフレームワークである。 我々のフレームワークはプラグイン・アンド・プレイであり、既存の即興学習手法とシームレスに統合できる。
  論文  参考訳（メタデータ） (2026-05-06T02:38:59Z)
• Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees [68.04613115686509]
  自己整合性は、複数の推論トレースを並列にサンプリングし、投票することで、推論時間のパフォーマンスを向上させる。 そこで本研究では,切り落された標本を伐採木として扱う決定論的復号法であるDLE(Distinct Leafion)を提案する。 DLEは高品質な推論トレースを調査し、数学、コーディング、一般的な推論タスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2026-04-22T12:42:03Z)
• Efficient Algorithms for Robust Markov Decision Processes with $s$-Rectangular Ambiguity Sets [19.053062263045664]
  我々は、$s$正方形曖昧性集合を持つ頑健なMDPのクラスに対する統一的なソリューションフレームワークを開発する。 提案アルゴリズムを用いて,$$$-rectangular robust MDPs with $1$- and $2$-norm,および$$-divergence ambiguity setは,最先端の商用解法よりも数桁早く解けることを示す。
  論文  参考訳（メタデータ） (2026-02-05T12:20:26Z)
• READER: Retrieval-Assisted Drafter for Efficient LLM Inference [0.0386965802948046]
  自己回帰言語モデルはトークンシーケンスよりも分解された確率をインスタンス化するが、その厳密なシーケンシャルなデコーディングプロセスは、遅延推論に固有の低いバウンドを課す。 このボトルネックは、大規模生成モデルのスケーラブルなデプロイにおける中心的な障害として現れています。 本稿では,補助的ドラフトモデルのトレーニングを回避した投機的復号化フレームワークREADERを提案する。
  論文  参考訳（メタデータ） (2025-08-12T16:47:48Z)
• Modality Agnostic Efficient Long Range Encoder [14.705955027331674]
  汎用実装を用いた単一デバイス上での長文処理の課題に対処する。 これらの制約を克服するために、統一的で効率的なトランスアーキテクチャであるMAELREを提案する。 我々は、MAELREが既存の長文モデルと比較して計算コストを低減しつつ、優れた精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2025-07-25T16:19:47Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Improved Model based Deep Learning using Monotone Operator Learning (MOL) [25.077510176642807]
  アンローリングに依存するMoDLアルゴリズムは、イメージリカバリのための強力なツールとして登場している。 我々は,現在展開されていないフレームワークに関連するいくつかの課題を克服するために,新しいモノトーン演算子学習フレームワークを導入する。 並列MRIにおける提案手法の有用性を実証する。
  論文  参考訳（メタデータ） (2021-11-22T17:42:27Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。