論文の概要: Time-series Random Process Complexity Ranking Using a Bound on Conditional Differential Entropy
- arxiv url: http://arxiv.org/abs/2510.20551v1
- Date: Thu, 23 Oct 2025 13:36:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:18.024977
- Title: Time-series Random Process Complexity Ranking Using a Bound on Conditional Differential Entropy
- Title（参考訳）: 条件微分エントロピー上の境界を用いた時系列ランダムプロセス複雑度ランキング
- Authors: Jacob Ayers, Richard Hahnloser, Julia Ulrich, Lothar Sebastian Krapp, Remo Nitschke, Sabine Stoll, Balthasar Bickel, Reinhard Furrer,
- Abstract要約: Fangらによって確立された情報理論予測誤差境界に基づいて構築する。
条件付き微分エントロピー textbf$h(X_k mid X_k-1,...,X_k-m)$ は次ステップ予測誤差の行列式の関数によって上界となることを示す。
- 参考スコア（独自算出の注目度）: 0.8666096694354596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conditional differential entropy provides an intuitive measure for relatively ranking time-series complexity by quantifying uncertainty in future observations given past context. However, its direct computation for high-dimensional processes from unknown distributions is often intractable. This paper builds on the information theoretic prediction error bounds established by Fang et al. \cite{fang2019generic}, which demonstrate that the conditional differential entropy \textbf{$h(X_k \mid X_{k-1},...,X_{k-m})$} is upper bounded by a function of the determinant of the covariance matrix of next-step prediction errors for any next step prediction model. We add to this theoretical framework by further increasing this bound by leveraging Hadamard's inequality and the positive semi-definite property of covariance matrices. To see if these bounds can be used to rank the complexity of time series, we conducted two synthetic experiments: (1) controlled linear autoregressive processes with additive Gaussian noise, where we compare ordinary least squares prediction error entropy proxies to the true entropies of various additive noises, and (2) a complexity ranking task of bio-inspired synthetic audio data with unknown entropy, where neural network prediction errors are used to recover the known complexity ordering. This framework provides a computationally tractable method for time-series complexity ranking using prediction errors from next-step prediction models, that maintains a theoretical foundation in information theory.
- Abstract（参考訳）: 条件微分エントロピーは、過去の文脈で与えられる将来の観測における不確実性を定量化することによって、比較的ランク付けされた時系列の複雑さに対する直感的な尺度を提供する。
しかし、未知分布からの高次元プロセスに対する直接計算はしばしば難解である。
本稿では, Fang et al \cite{fang2019generic} が確立した情報理論予測誤差境界に基づいて, 次のステップ予測モデルにおける次ステップ予測誤差の共分散行列の行列式の関数により, 条件微分エントロピー \textbf{$h(X_k \mid X_{k-1},...,X_{k-m})$} が上界であることを証明した。
我々は、アダマールの不等式と共分散行列の正の半定性を活用することにより、この境界をさらに高めることによって、この理論の枠組みに追加する。
これらの境界が時系列の複雑さのランク付けに利用できるかどうかを確認するために,(1) 線形自己回帰過程と加法ガウス雑音の制御,(2) 様々な付加雑音の真のエントロピーとの最小二乗予測誤差エントロピープロキシの比較,(2) 未知のエントロピーを用いたバイオインスピレーション合成オーディオデータの複雑性ランキング, という2つの合成実験を行った。
このフレームワークは、次段階の予測モデルからの予測誤差を用いた時系列複雑性ランキングの計算的に抽出可能な方法を提供し、情報理論の理論的基礎を維持している。
関連論文リスト
- Finite-Time Convergence Analysis of ODE-based Generative Models for Stochastic Interpolants [32.27430900126022]
インターポーラントは、任意のデータ分散間でサンプルを変換するための堅牢なフレームワークを提供する。
その可能性にもかかわらず、実用的な数値スキームに対する厳密な有限時間収束保証は、ほとんど未解明のままである。
論文 参考訳（メタデータ） (2025-08-10T13:23:57Z) - Flow based approach for Dynamic Temporal Causal models with non-Gaussian or Heteroscedastic Noises [37.02662517645979]
因果発見のための統合フレームワークであるFANTOMを紹介する。
非定常過程と非ガウス的および異方性雑音を扱う。
同時にレジームの数と対応するインデックスを推測し、各レジームのディレクテッド・アサイクリックグラフを学習する。
論文 参考訳（メタデータ） (2025-06-20T15:12:43Z) - Revisiting Optimism and Model Complexity in the Wake of Overparameterized Machine Learning [6.278498348219108]
まず、(有効)自由度という古典的な統計的概念を再解釈し、拡張することで、第一原理からモデルの複雑さを再考する。
我々は,概念的議論,理論,実験の混合を通じて,提案した複雑性尺度の有用性を実証する。
論文 参考訳（メタデータ） (2024-10-02T06:09:57Z) - PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [58.26573117273626]
2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。
連続分布戦略のための粒子ベースアルゴリズムに関する新しい知見を述べる。
論文 参考訳（メタデータ） (2023-03-02T05:08:15Z) - Sequential Predictive Conformal Inference for Time Series [16.38369532102931]
逐次データ(例えば時系列)に対する分布自由共形予測アルゴリズムを提案する。
具体的には,時系列データは交換不可能であり,既存の共形予測アルゴリズムでは適用できない性質を具体的に説明する。
論文 参考訳（メタデータ） (2022-12-07T05:07:27Z) - Partial Counterfactual Identification from Observational and
Experimental Data [83.798237968683]
観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。
我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
論文 参考訳（メタデータ） (2021-10-12T02:21:30Z) - Information-Theoretic Generalization Bounds for Iterative
Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。
我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文 参考訳（メタデータ） (2021-10-03T05:38:49Z) - Sharp global convergence guarantees for iterative nonconvex
optimization: A Gaussian process perspective [30.524043513721168]
回帰モデルのクラスに対する反復アルゴリズムの収束を解析するための一般的なレシピを開発する。
決定論的には、有限サンプル状態におけるアルゴリズムの収束率と最終的なエラーフロアの両方を正確にキャプチャする。
我々は、更新の交互化に基づく高次アルゴリズムと、下位次数に基づく一次アルゴリズムの両方に対して、鋭い収束率を示す。
論文 参考訳（メタデータ） (2021-09-20T21:48:19Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳（メタデータ） (2021-01-16T17:11:02Z) - Understanding Double Descent Requires a Fine-Grained Bias-Variance
Decomposition [34.235007566913396]
ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。
バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。
我々はまた、著しく豊かな現象論も分析する。
論文 参考訳（メタデータ） (2020-11-04T21:04:02Z) - Generalized Entropy Regularization or: There's Nothing Special about
Label Smoothing [83.78668073898001]
本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。
モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。
我々は,他のエントロピー正規化手法の使用を推奨する。
論文 参考訳（メタデータ） (2020-05-02T12:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。