論文の概要: Negativity as a resource for memory reduction in stochastic process modeling

• arxiv url: http://arxiv.org/abs/2406.17292v1
• Date: Tue, 25 Jun 2024 05:42:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 15:31:28.568271
• Title: Negativity as a resource for memory reduction in stochastic process modeling
• Title（参考訳）: 確率過程モデリングにおけるメモリ削減のためのリソースとしての負性
• Authors: Kelvin Onggadinata, Andrew Tanggara, Mile Gu, Dagomir Kaszlikowski,
• Abstract要約: 正準確率を許容する隠れマルコフモデルの仮説的一般化を考える。 衝突エントロピー測度の下では、そのようなモデルの最小メモリは余剰エントロピーを等しくすることができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In stochastic modeling, the excess entropy -- the mutual information shared between a processes past and future -- represents the fundamental lower bound of the memory needed to simulate its dynamics. However, this bound cannot be saturated by either classical machines or their enhanced quantum counterparts. Simulating a process fundamentally requires us to store more information in the present than than what is shared between past and future. Here we consider a hypothetical generalization of hidden Markov models beyond classical and quantum models -- n-machines -- that allow for negative quasi-probabilities. We show that under the collision entropy measure of information, the minimal memory of such models can equalize the excess entropy. Our results hint negativity as a necessary resource for memory-advantaged stochastic simulation -- mirroring similar interpretations in various other quantum information tasks.
• Abstract（参考訳）: 確率的モデリングでは、過剰なエントロピー(プロセス 過去と未来の間に共有される相互情報)は、その力学をシミュレートするために必要なメモリの基本的な下位境界を表す。 しかし、この境界は古典機械またはその拡張量子機械によって飽和できない。 プロセスのシミュレートには、過去と未来の間で共有されるものよりも、現在により多くの情報を格納する必要があります。 ここでは、古典的および量子的モデル(n-機械)を超えて隠れマルコフモデルの仮説的な一般化を考える。 衝突エントロピー測度の下では、そのようなモデルの最小メモリは余剰エントロピーを等しくすることができることを示す。 我々の結果は、メモリアドバンテージな確率シミュレーションに必要なリソースとして、負性(negativity)を示唆している。

関連論文リスト

• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Information theory unifies atomistic machine learning, uncertainty quantification, and materials thermodynamics [4.59916193837551]
  情報の正確な記述は、原子論モデリングにおける様々な問題に関係している。 本稿では, 位相変換, 運動事象, データセットの最適性, モデルなしUQの予測を原子シミュレーションから統一する情報理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-18T17:50:15Z)
• Neural Likelihood Approximation for Integer Valued Time Series Data [0.0]
  我々は、基礎となるモデルの無条件シミュレーションを用いて訓練できるニューラルな可能性近似を構築した。 本手法は,多くの生態学的および疫学的モデルを用いて推定を行うことにより実証する。
  論文  参考訳（メタデータ） (2023-10-19T07:51:39Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Implementing quantum dimensionality reduction for non-Markovian stochastic simulation [0.5269923665485903]
  我々は、フォトニックセットアップを用いて、非マルコフ過程の族に対するメモリ効率の量子モデルを実装する。 1量子ビットのメモリで実装された量子モデルは、同じメモリ次元の任意の古典的モデルで可能以上の精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-08-26T15:54:47Z)
• Stochastic Parameterizations: Better Modelling of Temporal Correlations using Probabilistic Machine Learning [1.5293427903448025]
  確率的フレームワーク内で物理インフォームされたリカレントニューラルネットワークを用いることで,96大気シミュレーションのモデルが競合することを示す。 これは、標準の1次自己回帰スキームと比較して時間的相関をモデル化する能力が優れているためである。 文献から多くの指標を評価するとともに、将来的な気候モデルにおいて、確率論的尺度が統一的な選択である可能性についても論じる。
  論文  参考訳（メタデータ） (2022-03-28T14:51:42Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Quantum coarse-graining for extreme dimension reduction in modelling stochastic temporal dynamics [0.0]
  量子状態空間における粗粒化は、時間力学をモデル化するために必要なメモリ次元を劇的に減少させる。 古典的な粗粒化とは対照的に、この圧縮は時間分解能に基づいておらず、現在の量子技術の範囲内でメモリ効率のモデリングをもたらす。
  論文  参考訳（メタデータ） (2021-05-14T13:47:21Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [55.28436972267793]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。