論文の概要: Ultimate limit on learning non-Markovian behavior: Fisher information rate and excess information

• arxiv url: http://arxiv.org/abs/2310.03968v1
• Date: Fri, 6 Oct 2023 01:53:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-10 03:43:23.857094
• Title: Ultimate limit on learning non-Markovian behavior: Fisher information rate and excess information
• Title（参考訳）: 非マルコフ的行動学習における究極の限界:漁業情報率と過剰情報
• Authors: Paul M. Riechers
• Abstract要約: 時系列データからプロセスの未知のパラメータを学習する基本的な限界に対処する。 観測時間とともに最適な推測がいかにスケールするかを示す、正確な閉形式表現を発見する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the fundamental limits of learning unknown parameters of any stochastic process from time-series data, and discover exact closed-form expressions for how optimal inference scales with observation length. Given a parametrized class of candidate models, the Fisher information of observed sequence probabilities lower-bounds the variance in model estimation from finite data. As sequence-length increases, the minimal variance scales as the square inverse of the length -- with constant coefficient given by the information rate. We discover a simple closed-form expression for this information rate, even in the case of infinite Markov order. We furthermore obtain the exact analytic lower bound on model variance from the observation-induced metadynamic among belief states. We discover ephemeral, exponential, and more general modes of convergence to the asymptotic information rate. Surprisingly, this myopic information rate converges to the asymptotic Fisher information rate with exactly the same relaxation timescales that appear in the myopic entropy rate as it converges to the Shannon entropy rate for the process. We illustrate these results with a sequence of examples that highlight qualitatively distinct features of stochastic processes that shape optimal learning.
• Abstract（参考訳）: 時系列データから確率過程の未知パラメータを学習することの基本的限界に対処し、最適な推論が観測長さでどのようにスケールするかを正確にクローズドフォーム表現を発見する。 パラメータ化された候補モデルのクラスが与えられると、観測シーケンス確率のフィッシャー情報は有限データからモデル推定のばらつきを低く抑える。 列長が増加するにつれて、最小分散は、情報レートによって与えられる定数係数で、長さの正方逆としてスケールする。 無限マルコフ次数であっても、この情報レートに対する単純な閉形式表現を発見する。 さらに, 信念状態間の観察誘起メタ力学から, モデル分散の正確な解析的下界を求める。 我々は漸近的・指数的・より一般的な収束モードを漸近的情報レートに発見する。 驚くべきことに、このミオピック情報レートは漸近的なフィッシャー情報レートに収束し、その過程においてシャノンエントロピーレートに収束するミオピックエントロピーレートに現れるのと全く同じ緩和時間スケールで収まる。 これらの結果を、最適学習を形作る確率過程の質的に異なる特徴を強調する一連の例で説明する。

関連論文リスト

• Kinetic Interacting Particle Langevin Monte Carlo [0.0]
  本稿では,潜在変数モデルにおける統計的推論のために,アンダーダム付きランゲヴィンアルゴリズムの相互作用について紹介し,解析する。 本稿では,パラメータと潜伏変数の空間内で共同で進化する拡散過程を提案する。 統計モデルのパラメータを推定する実用的なアルゴリズムとして,この拡散について2つの明確な考察を行う。
  論文  参考訳（メタデータ） (2024-07-08T09:52:46Z)
• Efficiently Parameterized Neural Metriplectic Systems [21.181859944826595]
  提案手法は、状態の大きさと緯度データのランクの両方で2次的にスケールする。 メトロトレクティックシステムは、状態の大きさとメトロトレクティックデータのランクの両方で二次的にスケールする方法でデータから学習される。
  論文  参考訳（メタデータ） (2024-05-25T17:14:23Z)
• On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
  我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。 スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。 この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
  論文  参考訳（メタデータ） (2023-11-22T18:40:45Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• Information Theory Inspired Pattern Analysis for Time-series Data [60.86880787242563]
  時系列データのパターンを識別・学習するために,情報理論に基づく特徴量を用いた高度に一般化可能な手法を提案する。 状態遷移を持つ応用では、シャノンのマルコフ鎖のエントロピー、マルコフ鎖のエントロピー率、マルコフ鎖のフォン・ノイマンエントロピーに基づいて特徴が展開される。 その結果,提案した情報理論に基づく特徴は,ベースラインモデルと比較して,リコール率,F1スコア,平均精度を最大23.01%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-02-22T21:09:35Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Fisher information of correlated stochastic processes [0.0]
  メモリフルプロセスで符号化されたパラメータの推定に関する2つの結果を示す。 まず、有限マルコフ順序の過程に対して、フィッシャー情報は結果の個数において常に線型であることを示す。 第二に、相関が必ずしもメートル法精度を高めるとは限らないことを適切な例で証明する。
  論文  参考訳（メタデータ） (2022-06-01T12:51:55Z)
• Modeling High-Dimensional Data with Unknown Cut Points: A Fusion Penalized Logistic Threshold Regression [2.520538806201793]
  従来のロジスティック回帰モデルでは、リンク関数は線形で連続であると見なされることが多い。 我々は、全ての連続した特徴が順序レベルに離散化され、さらにバイナリ応答が決定されるしきい値モデルを考える。 糖尿病のような慢性疾患の早期発見と予知の問題において,ラッソモデルが好適であることが判明した。
  論文  参考訳（メタデータ） (2022-02-17T04:16:40Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。