論文の概要: Entropy Gate: Entropy Quenching for Near-Lossless Token Compression in LLM Pipelines
- arxiv url: http://arxiv.org/abs/2606.03739v1
- Date: Tue, 02 Jun 2026 14:55:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:05.088928
- Title: Entropy Gate: Entropy Quenching for Near-Lossless Token Compression in LLM Pipelines
- Title（参考訳）: エントロピーゲート:LLMパイプラインにおけるニアレストーケン圧縮のためのエントロピークレンチング
- Authors: Justice Owusu Agyemang, Jerry John Kponyo, Kwame Opuni-Boachie Obour Agyekum, Francisca Adoma Acheampong, Kwame Agyeman-Prempeh Agyekum, James Dzisi Gadze,
- Abstract要約: LLMパイプラインは、低情報コンテンツにかなりのトークン予算を浪費する。
エントロピー・クエンチングを適用したトークン圧縮フレームワークであるエントロピー・ゲートを紹介する。
フレームワークはステートレスで、モデルに依存しず、OpenAI互換のHTTPプロキシとしてデプロイされる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM pipelines waste substantial token budgets on low-information content: repeated context, verbose responses, and redundant boilerplate. We introduce Entropy Gate, a token compression framework applying entropy quenching $-$ a thermodynamic process that progressively freezes out low-energy tokens while preserving semantic fidelity. Each token receives a multi-factor information energy $E(t)$ combining statistical, structural, and positional components. An adaptive quenching schedule $T(τ) = T_0 / (1 + ατ)$ removes tokens whose Boltzmann survival probability $p_i = \exp(-E_i / kT)$ falls below threshold, with a fidelity gate halting compression when energy-weighted similarity drops below $θ$. We prove token selection by descending $E(t)$ maximizes expected semantic preservation, that quenching produces nested survival sets, and that achievable compression approaches the information-theoretic limit $\text{CR} \to 1 - I(P; T)/H(P)$. A Phase 1 heuristic achieves 40-60% compression across five prompt categories while maintaining $S_E > 0.80$, with energy-squared amplification $E \to E^2$ adding 10-25 percentage points. Context deduplication adds 50-70% savings on repeated blocks. Output-side quenching, motivated by findings that brevity improves accuracy, further reduces response overhead. Combined with external memory, reduction composes multiplicatively to 88-96% for agentic workloads. The framework is stateless, model-agnostic, and deploys as an OpenAI-compatible HTTP proxy.
- Abstract（参考訳）: LLMパイプラインは、頻繁なコンテキスト、冗長な応答、冗長なボイラープレートといった低情報コンテンツに対して、かなりのトークン予算を浪費する。
エントロピー圧縮フレームワークであるEntropy Gateを導入する。エントロピークレンチングを$-$の熱力学的プロセスにより,セマンティックフィディティを維持しつつ,低エネルギートークンを徐々に凍結する。
各トークンは、統計、構造、位置成分を組み合わせた多要素情報エネルギー$E(t)$を受け取る。
適応的な待ち行列 $T(τ) = T_0 / (1 + ατ)$ ボルツマン生存確率 $p_i = \exp(-E_i / kT)$ がしきい値以下となるトークンを除去し、エネルギー重み付き類似度が$θ$を下回ると、フィデリティゲートが圧縮を停止する。
我々は、$E(t)$を下げることで、期待されるセマンティックな保存を最大化し、クエンチングがネストサバイバルセットを生成し、達成可能な圧縮が情報理論の限界である$\text{CR} \to 1 - I(P; T)/H(P)$に近づくことを証明した。
位相1ヒューリスティックは、S_E > 0.80$を維持し、エネルギー二乗増幅$E \to E^2$を10-25ポイント加えたまま、5つのプロンプトカテゴリにわたって40-60%の圧縮を達成する。
コンテキスト重複は繰り返しブロックに50～70%の保存を追加する。
出力側クエンチングは、簡潔さが精度を向上させるという発見によって動機付けられ、さらに応答オーバーヘッドを減少させる。
外部メモリと組み合わせることで、エージェントワークロードは88～96%に乗じて構成される。
フレームワークはステートレスで、モデルに依存しず、OpenAI互換のHTTPプロキシとしてデプロイされる。
関連論文リスト
- Battery-Explicit Energetic Witnesses of CHSH Post-Quantumness [0.0]
我々は、エネルギー保存SWAPにより、単一の励起を二元電池に条件付きでルーティングする信頼モジュールエネルギ的証人を紹介する。
古典的なフィードフォワードは、退化論理レジスタ上の可逆的な自律モジュールに埋め込むことができることを示す。
論文 参考訳（メタデータ） (2026-05-09T20:18:44Z) - Closing the Theory-Practice Gap in Spiking Transformers via Effective Dimension [13.891522069967507]
スパイキングトランスは、ニューロモルフィックハードウェアで38ドルから57ドル(約3,500円)のエネルギー効率を提供しながら、従来のトランスフォーマーと競合する精度を実現している。
本稿では, 自己注意をスパイクするための最初の包括的表現性理論を確立する。
論文 参考訳（メタデータ） (2026-04-17T07:15:53Z) - Scaling Attention via Feature Sparsity [50.64995497733461]
超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。
本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。
GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
論文 参考訳（メタデータ） (2026-03-17T08:41:50Z) - A 1/R Law for Kurtosis Contrast in Balanced Mixtures [15.412858526786978]
クルトーシスに基づく独立成分分析は、幅広いバランスの取れた混合物を弱める。
有効幅が$R_mathrmeff$の標準化された射影に対して、人口超過は$|(y)|=O(_max/R_mathrmeff)$に従う。
また、emphpurification -- selecting $m!ll!R$ sign-consistent sources -- restores $R$-independent contrast $ (1/m)$, with a simple data.
論文 参考訳（メタデータ） (2026-02-25T19:01:01Z) - OneLatent: Single-Token Compression for Visual Latent Reasoning [12.825780556445892]
我々は、レンダリングされたCoT画像とDeepSeek-OCR隠蔽状態の監督を通じて、中間推論を単一の潜在トークンに圧縮するフレームワークであるtextbfOneLatentを提案する。
ベンチマーク全体では、OneLatentはテキストCoTと比較して平均出力長を21時間で削減し、平均精度は2.21%しか低下しない。
長鎖論理推論では、OneLatentはProntoQAで99.80%、ProsQAで9.80%、遅延トークンで8.7.4times$に達する。
論文 参考訳（メタデータ） (2026-02-14T12:03:28Z) - Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space [56.37266873329401]
大規模言語モデル (LLM) は、高度に一様でない情報密度を示す言語にもかかわらず、全てのトークンに一様計算を適用する。
我々は,潜在表現から意味境界を学習し,トークンから推論がより効率的である圧縮概念空間へ移行する階層型言語モデリングフレームワークである$textbfDynamic Large Concept Models (DLCM)$を提案する。
論文 参考訳（メタデータ） (2025-12-31T04:19:33Z) - $γ$-FedHT: Stepsize-Aware Hard-Threshold Gradient Compression in Federated Learning [15.458263187587097]
グラディエント圧縮は、フェデレートラーニング(FL)におけるボトルネックを効果的に緩和する
Error-Feedbackの基本的会話を紹介する。
我々は、$gamma$-FedHTがTop-k$よりも7.42%$まで精度を向上することを示した。
論文 参考訳（メタデータ） (2025-05-18T15:55:50Z) - Fast Rates for Bandit PAC Multiclass Classification [73.17969992976501]
我々は,帯域幅フィードバックを用いたマルチクラスPAC学習について検討し,入力を$K$ラベルの1つに分類し,予測されたラベルが正しいか否かに制限する。
我々の主な貢献は、問題の無知な$(varepsilon,delta)$PACバージョンのための新しい学習アルゴリズムを設計することである。
論文 参考訳（メタデータ） (2024-06-18T08:54:04Z) - Tokenization and the Noiseless Channel [71.25796813073399]
優れたトークン化器は、ある入力がモデルに伝達される手段であるチャネルの使用率を高める。
機械翻訳では、複数のトークン化器において、$alpha = 2.5$のR'enyiエントロピーがtextscBleu: $0.78$と非常に強い相関を持つことがわかった。
論文 参考訳（メタデータ） (2023-06-29T10:32:09Z) - Settling the Sample Complexity of Model-Based Offline Reinforcement
Learning [50.5790774201146]
オフライン強化学習(RL)は、事前収集されたデータを用いて、さらなる探索を行わずに学習する。
事前のアルゴリズムや分析は、最適なサンプルの複雑さに悩まされるか、サンプルの最適性に到達するために高いバーンインコストがかかるかのいずれかである。
モデルベース(あるいは"プラグイン")アプローチは,バーンインコストを伴わずに,最小限のサンプル複雑性を実現することを実証する。
論文 参考訳（メタデータ） (2022-04-11T17:26:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。