論文の概要: Micro-Diffusion Compression - Binary Tree Tweedie Denoising for Online Probability Estimation

• arxiv url: http://arxiv.org/abs/2603.08771v2
• Date: Wed, 11 Mar 2026 16:12:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 14:12:44.247015
• Title: Micro-Diffusion Compression - Binary Tree Tweedie Denoising for Online Probability Estimation
• Title（参考訳）: 微小拡散圧縮 -オンライン確率推定のための二分木ツイーディ
• Authors: Roberto Tacconelli,
• Abstract要約: 適応統計モデルにより生成される確率推定を改善するために, マイクロ拡散復調層を導入する。 Midicothは、適応型PPMモデル、長距離マッチングモデル、トレーベースワードモデル、高階コンテキストモデル、マイクロ拡散デノイザの5つの完全オンラインコンポーネントを最終段階として組み合わせている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Midicoth, a lossless compression system that introduces a micro-diffusion denoising layer for improving probability estimates produced by adaptive statistical models. In compressors such as Prediction by Partial Matching (PPM), probability estimates are smoothed by a prior to handle sparse observations. When contexts have been seen only a few times, this prior dominates the prediction and produces distributions that are significantly flatter than the true source distribution, leading to compression inefficiency. Midicoth addresses this limitation by treating prior smoothing as a shrinkage process and applying a reverse denoising step that corrects predicted probabilities using empirical calibration statistics. To make this correction data-efficient, the method decomposes each byte prediction into a hierarchy of binary decisions along a bitwise tree. This converts a single 256-way calibration problem into a sequence of binary calibration tasks, enabling reliable estimation of correction terms from relatively small numbers of observations. The denoising process is applied in multiple successive steps, allowing each stage to refine residual prediction errors left by the previous one. The micro-diffusion layer operates as a lightweight post-blend calibration stage applied after all model predictions have been combined, allowing it to correct systematic biases in the final probability distribution. Midicoth combines five fully online components: an adaptive PPM model, a long-range match model, a trie-based word model, a high-order context model, and the micro-diffusion denoiser applied as the final stage.
• Abstract（参考訳）: 適応統計モデルにより生成される確率推定を改善するためのマイクロ拡散復調層を導入する無損失圧縮システムであるMidicothを提案する。 部分マッチングによる予測(PPM)のような圧縮機では、確率推定はスパース観測に先立って滑らかになる。 コンテクストがほんの数回しか見られていない場合、この先行は予測を支配し、真のソース分布よりもかなり平坦な分布を生成し、圧縮の非効率をもたらす。 Midicothはこの制限に対処するため、事前平滑化を縮小過程として扱い、経験的キャリブレーション統計を用いて予測確率を補正するリバース・デノナイジング・ステップを適用する。 この補正データを効率よくするために、各バイト予測をビットワイズツリーに沿ってバイナリ決定の階層に分解する。 これにより、1つの256ウェイキャリブレーション問題をバイナリキャリブレーションタスクのシーケンスに変換し、比較的少数の観測結果から修正項の信頼性の高い推定を可能にする。 復調処理は、複数のステップで適用され、各ステージは、前のステップが残した残差予測誤差を洗練できる。 マイクロ拡散層は、全てのモデル予測が組み合わされた後に適用される軽量なポストブレンドキャリブレーション段階として機能し、最終的な確率分布の体系的バイアスを補正する。 Midicothは、適応型PPMモデル、長距離マッチングモデル、トレーベースワードモデル、高階コンテキストモデル、マイクロ拡散デノイザの5つの完全オンラインコンポーネントを最終段階として組み合わせている。

関連論文リスト

• Controllable Probabilistic Forecasting with Stochastic Decomposition Layers [1.3995263206621]
  本稿では、決定論的機械学習気象モデルをアンサンブルシステムに変換するための分解層(SDL)を提案する。 SDLは3つのデコーダスケールでの学習摂動を、潜在駆動変調、画素ごとのノイズ、チャネルスケーリングを通じて適用する。 転送学習を通じてWXFormerに適用する場合、SDLはベースラインモデルをトレーニングするために必要な計算コストの2%未満を必要とする。
  論文  参考訳（メタデータ） (2025-12-21T17:10:00Z)
• Approximating Full Conformal Prediction for Neural Network Regression with Gauss-Newton Influence [8.952347049759094]
  我々は、保留データなしで、保留後のニューラルネットワーク回帰器の予測間隔を構築する。 ガウス・ニュートンの影響を利用して1回、局所摂動モデルパラメータを訓練する。
  論文  参考訳（メタデータ） (2025-07-27T13:34:32Z)
• Normalizing Flows for Conformal Regression [0.0]
  Conformal Prediction (CP)アルゴリズムは、ラベル付きデータに基づいて出力を校正することで予測モデルの不確実性を推定する。 キャリブレーション過程をトレーニングすることで、間隔をローカライズする一般的なスキームを提案する。 PapadopoulosらによるError Reweighting CPアルゴリズム(2008年)とは異なり、このフレームワークは名目と経験的条件の妥当性のギャップを推定できる。
  論文  参考訳（メタデータ） (2024-06-05T15:04:28Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• On Calibrating Diffusion Probabilistic Models [78.75538484265292]
  拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:14:40Z)
• Conformal Inference for Online Prediction with Arbitrary Distribution Shifts [1.2277343096128712]
  我々は、データを生成する分布が時間とともに変化するオンライン環境において、予測セットを形成するという問題を考察する。 与えられた幅のすべての局所時間間隔に対して,確実に小さな後悔を伴う新規な手順を開発する。 我々は、株式市場のボラティリティと新型コロナウイルス(COVID-19)のケース数を予測するために、2つの実世界のデータセットで、我々の技術を試した。
  論文  参考訳（メタデータ） (2022-08-17T16:51:12Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。