論文の概要: Entropic-Time Inference: Self-Organizing Large Language Model Decoding Beyond Attention
- arxiv url: http://arxiv.org/abs/2603.03310v1
- Date: Sun, 08 Feb 2026 19:13:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-09 01:20:08.138362
- Title: Entropic-Time Inference: Self-Organizing Large Language Model Decoding Beyond Attention
- Title（参考訳）: エントロピック時間推論:意図を超えた自己組織型大規模言語モデルデコーディング
- Authors: Andrew Kiruluta,
- Abstract要約: 本稿では,スケジューリング,注意散布,サンプリング温度を結合した自己組織化推論アーキテクチャを提案する。
提案手法は,vLLMを拡張して,エントロピーを考慮したスケジューリング,ページアテンションブロックのエントロピープルーニング,およびターゲットエントロピー系近傍での生成を安定化する適応温度制御を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern large language model (LLM) inference engines optimize throughput and latency under fixed decoding rules, treating generation as a linear progression in token time. We propose a fundamentally different paradigm: entropic\-time inference, where decoding is governed by the flow of uncertainty rather than token index. We introduce a self\-organizing inference architecture that jointly couples scheduling, attention sparsification, and sampling temperature under a unified entropy control objective. Our method extends vLLM with entropy-aware scheduling, entropic pruning of paged attention blocks, and adaptive temperature control that stabilizes generation near a target entropy regime. This transforms inference into a resource\-intelligent thermodynamic process that allocates computation where uncertainty reduction is maximized. We present a concrete systems design, pseudocode, and integration plan, demonstrating how entropy can serve as a first\-class control signal for scalable LLM inference.
- Abstract（参考訳）: 現代の大規模言語モデル(LLM)推論エンジンは、固定された復号規則の下でスループットとレイテンシを最適化し、トークン時間における線形進行として生成を扱います。
本稿では,トークンインデックスではなく不確実性のフローによってデコードが制御されるエントロピー時間推論という,根本的に異なるパラダイムを提案する。
本稿では,統一的なエントロピー制御対象下でのスケジューリング,注意散布,サンプリング温度を結合した自己組織化推論アーキテクチャを提案する。
提案手法は,vLLMを拡張して,エントロピーを考慮したスケジューリング,ページアテンションブロックのエントロピープルーニング,およびターゲットエントロピー系近傍での生成を安定化する適応温度制御を行う。
これは推論を、不確実性低減を最大化する計算を割り当てるリソース・インテリジェント熱力学プロセスに変換する。
本稿では,拡張性のあるLLM推論のための第1級制御信号としてエントロピーがどのように機能するかを示す,具体的なシステム設計,擬似コード,統合計画を提案する。
関連論文リスト
- Avoiding Premature Collapse: Adaptive Annealing for Entropy-Regularized Structural Inference [1.7523718031184992]
この障害の基本的なメカニズムは、 textbf Premature Mode Collapseである。
提案手法は,適応型スケジューリングアルゴリズムであるtextbfEfficient Piecewise Hybrid Adaptive Stability Control (EPH-ASC) で,推論過程の安定性をモニタする。
論文 参考訳（メタデータ） (2026-01-30T14:47:18Z) - Mind Your Entropy: From Maximum Entropy to Trajectory Entropy-Constrained RL [56.085103402298905]
本稿では,この2つの課題に対処する軌道エントロピー制約強化学習(TECRL)フレームワークを提案する。
このフレームワーク内では、まず報酬とエントロピーに関連する2つのQ-関数を個別に学習し、温度更新の影響を受けないクリーンで安定した値ターゲットを確保する。
我々は,3つの改良を加えて,最先端の分散型ソフトアクター批判を拡張して,現実的な非政治的アルゴリズムDSAC-Eを開発した。
論文 参考訳（メタデータ） (2025-10-25T09:17:47Z) - Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective [11.65148836911294]
エントロピー崩壊は政策の多様性の急激な喪失であり、探検と爆発の不均衡から起因し、一般化の欠如につながっている。
最近のエントロピー・インターベンション法は、色覚エントロピーの崩壊を防ぐことを目的としているが、その基盤となるメカニズムは明らかになっていない。
エントロピー変化を考慮した再重み付け方式,すなわち,再重み付け(STEER)によるトークンレベルのエントロピーチェンジEの安定化を提案する。
論文 参考訳（メタデータ） (2025-10-11T10:17:38Z) - CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。
提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2025-08-15T07:49:22Z) - Entropy-Based Block Pruning for Efficient Large Language Models [81.18339597023187]
性能を維持しつつ効率を向上するエントロピー型プルーニング戦略を提案する。
経験的分析により、隠れ表現のエントロピーは初期ブロックでは減少するが、その後のほとんどのブロックでは徐々に増加することが明らかとなった。
論文 参考訳（メタデータ） (2025-04-04T03:42:34Z) - Entropy-Guided Attention for Private LLMs [3.7802450241986945]
本稿では,デコーダのみの言語モデルにおける非線形性の役割を特徴付ける情報理論フレームワークを提案する。
シャノンのエントロピーを定量的な尺度として活用することにより、これまで探索されなかった非線形性の二重性を明らかにする。
本稿では,新しいエントロピー正規化手法と組み合わせたエントロピー誘導型アテンション機構を提案し,エントロピー過負荷を軽減する。
論文 参考訳（メタデータ） (2025-01-07T03:17:47Z) - Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。
本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。
提案手法の有効性を数値解析により検証した。
論文 参考訳（メタデータ） (2024-11-04T17:48:02Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳（メタデータ） (2023-12-10T15:22:30Z) - CEBoosting: Online Sparse Identification of Dynamical Systems with
Regime Switching by Causation Entropy Boosting [1.090458267119282]
レジームスイッチングは、マルチスケールの特徴、カオス的振る舞い、極端な事象を持つ多くの複雑な力学系においてユビキタスである。
本稿では,レシエーションスイッチングの検出を容易にするために,因果エントロピーブースティング(CEBoosting)戦略を開発した。
この戦略はデータ同化と組み合わせて、観測されていない潜在プロセスによって引き起こされる状態切替を特定することができる。
論文 参考訳（メタデータ） (2023-04-16T19:14:03Z) - Action Redundancy in Reinforcement Learning [54.291331971813364]
遷移エントロピーはモデル依存遷移エントロピーと作用冗長性という2つの用語で記述できることを示す。
その結果,行動冗長性は強化学習の根本的な問題であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T19:47:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。