論文の概要: Entropy-informed Decoding: Adaptive Information-Driven Branching

• arxiv url: http://arxiv.org/abs/2605.09745v1
• Date: Sun, 10 May 2026 20:44:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.400438
• Title: Entropy-informed Decoding: Adaptive Information-Driven Branching
• Title（参考訳）: Entropy-informed Decoding: Adaptive Information-Driven Branching
• Authors: Benjamin Patrick Evans, Sumitra Ganesh, Leo Ardon,
• Abstract要約: 大規模言語モデル(LLM)は、優れた生成性能を達成するが、その出力品質はデコード戦略に依存している。 本稿では,モデルの不確実性に基づいて適応的にアロケートするモデルに依存しないデコードフレームワークであるEntropy-informed Decoding (EDEN)を紹介する。 EDENは、既存のデコード戦略よりも出力品質を一貫して改善し、固定幅ビームサーチよりも精度と拡張のトレードオフを向上する。
• 参考スコア（独自算出の注目度）: 5.954754354938324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) achieve remarkable generative performance, yet their output quality is dependent on the decoding strategy. While sampling-based methods (e.g., top-k, nucleus) and search-and-select based methods (e.g., beam search, best-of-n, majority voting) can improve upon greedy decoding, both approaches suffer from limitations: sampling generally commits to a single path, while search often expends excessive computation regardless of task complexity. To address these, we introduce Entropy-informed decoding (EDEN), a plug-and-play, model-agnostic decoding framework that adaptively allocates computation based on the model's own uncertainty, approximating higher-width beam search with fewer expansions. At each generation step, EDEN estimates the entropy of the output token distribution and adjusts the branching factor monotonically with the entropy, expanding more candidates in high-entropy regions and following a greedier path in low-entropy regions, improving token efficiency. Experiments across complex tasks, including mathematical reasoning, code generation, and scientific questions, demonstrate that EDEN consistently improves output quality over existing decoding strategies, achieving better accuracy-expansion trade-offs than fixed-width beam search. By treating next-token selection as a noisy maximisation problem, we prove that branching factors monotone in entropy are guaranteed to find better (i.e. more probable) continuations than any fixed branching factor within the same total expansion budget, and derive explicit regret rates characterising the benefit of the adaptive allocation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、優れた生成性能を達成するが、その出力品質はデコード戦略に依存している。 サンプリングベースの手法(例えば、トップ-k、核)と検索と選択に基づく手法(例えば、ビームサーチ、ベスト・オブ・n、多数決)は、グレディデコーディングにより改善されるが、どちらの手法も制限を受ける。 これらの問題に対処するために,Entropy-informed decoding (EDEN) という,モデル自体の不確実性に基づいて適応的に計算を割り当てるプラグイン・アンド・プレイ・モデルに依存しないデコーディングフレームワークを導入する。 各生成ステップにおいて、EDENは出力トークン分布のエントロピーを推定し、そのエントロピーと単調に分岐係数を調整し、高エントロピー領域の候補を増やし、低エントロピー領域のグレディエ経路を追従し、トークン効率を向上させる。 数学的推論、コード生成、科学的問題を含む複雑なタスクに対する実験では、EDENは既存の復号法よりも出力品質を一貫して改善し、固定幅ビーム探索よりも精度と拡張のトレードオフを達成している。 次トーケン選択を雑音の最大化問題として扱うことにより、エントロピーにおける分岐因子単調は、同じ拡張予算内での固定分岐因子よりもよい(つまり、より確率の高い)連続性を見出すことが保証され、適応割り当ての利点を特徴づける明確な後悔率を導出する。

関連論文リスト

• Think Twice Before You Write -- an Entropy-based Decoding Strategy to Enhance LLM Reasoning [32.332197731504046]
  デコード戦略は、大きな言語モデルの推論能力を形成する上で、中心的な役割を果たす。 グレディ復号やビームサーチといった従来の手法は、しばしばエラーの伝播に悩まされる。 本稿では,トークンレベルの適応性を世代に導入するエントロピー誘導復号化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-10T23:08:26Z)
• Optimizing Decoding Paths in Masked Diffusion Models by Quantifying Uncertainty [16.454646094266703]
  Masked Diffusion Models (MDMs) は柔軟で非自己回帰的な生成を提供するが、この自由は挑戦をもたらす。 我々はこの問題を初めて公式化し、生成経路に沿った累積予測の不確実性に出力品質の変動をもたらす。 本研究は,MDMにおける不確実性を負債から,高品質なソリューションを発見する上での鍵となる優位性へと効果的に転換する,生成の理解と制御の原則的ツールとして,Denoising Entropyを確立した。
  論文  参考訳（メタデータ） (2025-12-24T18:59:51Z)
• Partial Information Decomposition via Normalizing Flows in Latent Gaussian Distributions [24.013410583573318]
  ガウスPID(GPID)の計算効率を大幅に向上する勾配に基づく新しいアルゴリズムを提案する。 提案手法は,既存のベースラインよりも高精度で効率的なPID推定方法を提供する。 我々は、マルチモーダルデータセットにおけるPIDの定量化の現実的な応用において、その有用性を示すために、大規模マルチモーダルベンチマークのシリーズを評価した。
  論文  参考訳（メタデータ） (2025-10-06T01:08:34Z)
• Unlocking Symbol-Level Precoding Efficiency Through Tensor Equivariant Neural Network [84.22115118596741]
  シンボルレベルのプリコーディングにおいて,推論の複雑さの低いエンドツーエンドディープラーニング(DL)フレームワークを提案する。 提案手法は,従来の手法よりも約80倍の高速化を実現しつつ,SLPの大幅な性能向上を達成できることを示す。
  論文  参考訳（メタデータ） (2025-10-02T15:15:50Z)
• LSR-MCTS: Alleviating Long Range Dependency in Code Generation [42.10272627826627]
  大規模言語モデル(LLM)は、コード生成タスクの開発を著しく促進している。 本稿では,MCTS を利用した textbfLSR-MCTS アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:03:25Z)
• Dynamic Search for Inference-Time Alignment in Diffusion Models [87.35944312589424]
  探索問題としての拡散における推論時間アライメントと動的拡散探索(DSearch)を提案する。 DSearchは、デノナイズプロセスからサブサンプルを取得し、中間ノードの報酬を近似する。 また、ビーム幅と木の拡大を動的に調整し、高次世代を効率的に探索する。
  論文  参考訳（メタデータ） (2025-03-03T20:32:05Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。