論文の概要: Shannon Entropy Rate of Hidden Markov Processes

• arxiv url: http://arxiv.org/abs/2008.12886v1
• Date: Sat, 29 Aug 2020 00:48:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 17:36:08.255852
• Title: Shannon Entropy Rate of Hidden Markov Processes
• Title（参考訳）: 隠れマルコフ過程のシャノンエントロピー速度
• Authors: Alexandra M. Jurgens and James P. Crutchfield
• Abstract要約: 隠れマルコフ連鎖のエントロピー率を計算する方法を示す。 また,この手法が最小限の無限予測的特徴を与えることを示す。 続編は、構造に関するチャレンジの第2部に対処します。
• 参考スコア（独自算出の注目度）: 77.34726150561087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hidden Markov chains are widely applied statistical models of stochastic processes, from fundamental physics and chemistry to finance, health, and artificial intelligence. The hidden Markov processes they generate are notoriously complicated, however, even if the chain is finite state: no finite expression for their Shannon entropy rate exists, as the set of their predictive features is generically infinite. As such, to date one cannot make general statements about how random they are nor how structured. Here, we address the first part of this challenge by showing how to efficiently and accurately calculate their entropy rates. We also show how this method gives the minimal set of infinite predictive features. A sequel addresses the challenge's second part on structure.
• Abstract（参考訳）: 隠れマルコフ連鎖は、基礎物理学や化学から金融、健康、人工知能まで、確率過程の統計モデルとして広く応用されている。 しかし、それらが生成する隠れマルコフ過程は、たとえ鎖が有限状態であっても、そのシャノンエントロピー率に対する有限表現は存在せず、それらの予測的特徴の集合は総じて無限である。 そのため、現在まで、それらがいかにランダムであるか、どのように構造化されているかについての一般的な言明はできない。 本稿では,エントロピー率を効率良く正確に計算する方法を示すことで,この課題の最初の部分に対処する。 また,この手法が最小限の無限予測的特徴を与えることを示す。 続編は、構造に関するチャレンジの第2部に対処します。

関連論文リスト

• Entropy augmentation through subadditive excess: information theory in irreversible processes [0.0]
  ボルツマン方程式は、ほぼ任意の初期状態から自己平衡熱状態への遷移を正確に記述する能力においてユニークなように見える。 Gibbs-Shannon-vonエントロピーの増大は、通常の粗粒化を伴わない。 アンザッツの数学的構造は、効率的な計算とシミュレーションのための道を提供する。
  論文  参考訳（メタデータ） (2024-07-24T14:47:14Z)
• Patterns in the jump-channel statistics of open quantum systems [0.0]
  複数のジャンプチャンネルを持つ連続的に測定された量子システムは、ランダムなジャンプ時間とランダムに放出されたシンボルによって記述されたプロセスを引き起こす。 我々は、結果のプロセスの完全なキャラクタリゼーションを提供し、そのシミュレーションの効率的な方法や、基礎となるメモリ構造を決定する。 いくつかのシステムは閉じたパターンをサポートし、進化は有限の状態または少なくとも繰り返される状態の上を走る。
  論文  参考訳（メタデータ） (2023-05-13T16:13:50Z)
• On the Algorithmic Information Between Probabilities [6.5268245109828005]
  我々はアルゴリズムの保存不等式を確率測度まで拡張する。 確率測度の自己情報の量は、ランダム化された処理に送信しても増加しない。 純状態の圧倒的多数に対して量子測度が与えられた場合、意味のある情報は得られないことが示される。
  論文  参考訳（メタデータ） (2023-03-13T17:20:27Z)
• PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [62.51015395213579]
  2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。 提案アルゴリズムは粒子の動きを利用して$ilon$-mixed Nash平衡のランダム戦略の更新を表現する。
  論文  参考訳（メタデータ） (2023-03-02T05:08:15Z)
• Information Theory Inspired Pattern Analysis for Time-series Data [60.86880787242563]
  時系列データのパターンを識別・学習するために,情報理論に基づく特徴量を用いた高度に一般化可能な手法を提案する。 状態遷移を持つ応用では、シャノンのマルコフ鎖のエントロピー、マルコフ鎖のエントロピー率、マルコフ鎖のフォン・ノイマンエントロピーに基づいて特徴が展開される。 その結果,提案した情報理論に基づく特徴は,ベースラインモデルと比較して,リコール率,F1スコア,平均精度を最大23.01%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-02-22T21:09:35Z)
• A Simplistic Model of Neural Scaling Laws: Multiperiodic Santa Fe Processes [0.0]
  大規模言語モデルでは,パラメータ数やトレーニングトークン数に関して,クロスエントロピーの非合法な崩壊を示すことが観察された。 文字通り外挿すると、この崩壊は自然言語のエントロピー速度がゼロであることを意味する。 簡単な定常過程と,そのメモリベース予測器を構築し,クロスエントロピーのパワーロッド崩壊と消滅するエントロピー速度を示す。
  論文  参考訳（メタデータ） (2023-02-17T18:27:27Z)
• Statistical Properties of the Entropy from Ordinal Patterns [55.551675080361335]
  大規模な時系列モデルに対するエントロピー・統計複雑性の連立分布を知っていれば、今日まで利用できない統計テストが可能になるだろう。 実正規化エントロピーが零でも1でもないモデルに対して、経験的シャノンのエントロピーの分布を特徴づける。 2つの信号が同じシャノンのエントロピーを持つ順序パターンを生成するという仮説を否定するのに十分な証拠があるかどうかを検証する。
  論文  参考訳（メタデータ） (2022-09-15T23:55:58Z)
• Action Redundancy in Reinforcement Learning [54.291331971813364]
  遷移エントロピーはモデル依存遷移エントロピーと作用冗長性という2つの用語で記述できることを示す。 その結果,行動冗長性は強化学習の根本的な問題であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T19:47:26Z)
• Entropy and reversible catalysis [0.0]
  非減少エントロピーは、物理的システムの状態を異なる状態に変換するために必要な、かつ十分な条件を提供することを示す。 量子統計力学において、ギブス状態の定量的単一ショット特性を得るのにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-12-10T10:42:44Z)
• Generalized Entropy Regularization or: There's Nothing Special about Label Smoothing [83.78668073898001]
  本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。 モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。 我々は,他のエントロピー正規化手法の使用を推奨する。
  論文  参考訳（メタデータ） (2020-05-02T12:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。