論文の概要: Top-b: Entropic Regulation of Relative Probability Bands in Autoregressive Language Processes

• arxiv url: http://arxiv.org/abs/2603.14567v1
• Date: Sun, 15 Mar 2026 19:39:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.888771
• Title: Top-b: Entropic Regulation of Relative Probability Bands in Autoregressive Language Processes
• Title（参考訳）: トップb:自己回帰言語プロセスにおける相対確率帯域のエントロピー制御
• Authors: Deepon Halder, Raj Dabre,
• Abstract要約: Top-bは、動的帯域幅係数によって候補セットを制御するデコード戦略である。 また,Top-bは競合推論精度を維持しつつ,生成エントロピーと復号間分散を著しく低減することを示した。
• 参考スコア（独自算出の注目度）: 16.569049230416123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probabilistic language generators are theoretically modeled as discrete stochastic processes, yet standard decoding strategies (Top-k, Top-p) impose static truncation rules that fail to accommodate the dynamic information density of natural language. This misalignment often forces a suboptimal trade-off: static bounds are either too restrictive for high-entropy creative generation or too permissive for low-entropy logical reasoning. In this work, we formalize the generation process as a trajectory through a relative probability manifold. We introduce Top-b (Adaptive Relative Band Sampling), a decoding strategy that regulates the candidate set via a dynamic bandwidth coefficient coupled strictly to the instantaneous Shannon entropy of the model's distribution. We provide a theoretical framework demonstrating that Top-b acts as a variance-minimizing operator on the tail distribution. Empirical validation on GPQA and GSM8K benchmarks indicates that Top-b significantly reduces generation entropy and inter-decoding variance while maintaining competitive reasoning accuracy, effectively approximating a self-regulating control system for autoregressive generation.
• Abstract（参考訳）: 確率的言語生成は、理論的には離散確率過程としてモデル化されるが、標準復号法(Top-k, Top-p)では、自然言語の動的情報密度に適合しない静的乱れ規則を課している。 静的境界は高エントロピーの創造生成には制限的すぎるか、低エントロピーの論理的推論には寛容すぎる。 本研究では、相対確率多様体を通して生成過程を軌跡として定式化する。 そこで我々は,モデル分布の瞬時シャノンエントロピーに厳密に結合された動的帯域幅係数を用いて,候補セットを規制するTop-b(Adaptive Relative Band Smpling)を導入する。 我々は,Top-bが尾分布の分散最小化演算子として機能することを示す理論的枠組みを提供する。 GPQAとGSM8Kベンチマークの実証検証では、Top-bは競合推論精度を維持しながら生成エントロピーと符号化間分散を著しく低減し、自己回帰生成のための自己制御制御系を効果的に近似している。

関連論文リスト

• Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
  クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。 言語モデル微調整のための特徴マッチング手法を提案する。 この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
  論文  参考訳（メタデータ） (2026-03-12T17:57:50Z)
• Entropy-Controlled Flow Matching [0.08460698440162889]
  本稿では,グローバルエントロピーレートの予算d/dt H(mu_t) >=-lambdaを強制する連続性方程式パスに対する制約付き変分原理を提案する。 そこで我々は,Lipschitzによる証明型モード被覆と密度フロア保証を取得し,非拘束フローマッチングのための準最適逆例を構築した。
  論文  参考訳（メタデータ） (2026-02-25T06:07:01Z)
• GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
  我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。 GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
  論文  参考訳（メタデータ） (2026-02-15T09:57:47Z)
• Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse [3.533187668612022]
  本稿では,これらの現象を統一する情報幾何学的枠組みであるEntropyReser Bregman Projection- ERBPを提案する。 我々の理論は崩壊に必要な条件、(ii)非言語エントロピーフロアを保証する十分な条件、(iii)サンプルサイズに依存する閉形式率をもたらす。
  論文  参考訳（メタデータ） (2025-12-16T19:50:03Z)
• Worst-case generation via minimax optimization in Wasserstein space [19.645939141861543]
  最悪のケース生成は、分散シフト下でのロバストネスとストレステストシステムを評価する上で重要な役割を果たす。 我々は,所定のリスクに対する最悪のケース生成のための生成モデリングフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-12-09T02:11:08Z)
• Constrained Discrete Diffusion [61.81569616239755]
  本稿では,拡散過程における微分可能制約最適化の新たな統合であるCDD(Constrained Discrete Diffusion)を紹介する。 CDDは直接、離散拡散サンプリングプロセスに制約を課し、トレーニング不要で効果的なアプローチをもたらす。
  論文  参考訳（メタデータ） (2025-03-12T19:48:12Z)
• Stochastic Control for Fine-tuning Diffusion Models: Optimality, Regularity, and Convergence [19.484676783876306]
  拡散モデルは生成モデリングの強力なツールとして登場してきた。 微調整拡散モデルのための制御フレームワークを提案する。 PI-FTは線形速度で大域収束することを示す。
  論文  参考訳（メタデータ） (2024-12-24T04:55:46Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。