論文の概要: Towards a generalization of information theory for hierarchical partitions

• arxiv url: http://arxiv.org/abs/2003.02911v2
• Date: Tue, 30 Jun 2020 22:11:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 08:31:10.556553
• Title: Towards a generalization of information theory for hierarchical partitions
• Title（参考訳）: 階層分割情報理論の一般化に向けて
• Authors: Juan I. Perotti, Nahuel Almeira, Fabio Saracco
• Abstract要約: 階層的分割を扱う情報理論の一般化を導入する。 特に、多くの古典的情報理論量の階層的一般化を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Complex systems often exhibit multiple levels of organization covering a wide range of physical scales, so the study of the hierarchical decomposition of their structure and function is frequently convenient. To better understand this phenomenon, we introduce a generalization of information theory that works with hierarchical partitions. We begin revisiting the recently introduced Hierarchical Mutual Information (HMI), and show that it can be written as a level by level summation of classical conditional mutual information terms. Then, we prove that the HMI is bounded from above by the corresponding hierarchical joint entropy. In this way, in analogy to the classical case, we derive hierarchical generalizations of many other classical information-theoretic quantities. In particular, we prove that, as opposed to its classical counterpart, the hierarchical generalization of the Variation of Information is not a metric distance, but it admits a transformation into one. Moreover, focusing on potential applications of the existing developments of the theory, we show how to adjust by chance the HMI. We also corroborate and analyze all the presented theoretical results with exhaustive numerical computations, and include an illustrative application example of the introduced formalism. Finally, we mention some open problems that should be eventually addressed for the proposed generalization of information theory to reach maturity.
• Abstract（参考訳）: 複雑なシステムはしばしば、様々な物理的スケールをカバーする複数のレベルの組織を示すため、それらの構造と機能の階層的分解の研究は、しばしば便利である。 この現象をよりよく理解するために,階層的分割を扱う情報理論の一般化を提案する。 我々は最近導入された階層的相互情報(HMI)を再考し、古典的条件付き相互情報項のレベル和で記述できることを示す。 そして、HMIは対応する階層的関節エントロピーによって上から有界であることが証明される。 このように、古典的な場合と類似して、他の多くの古典的な情報理論量の階層的一般化を導出する。 特に、古典的なものとは対照的に、情報の変動の階層的な一般化は距離ではなく、それへの変換を認めることを証明している。 さらに,理論の既存展開の潜在的な応用に着目して,HMIを偶然に調整する方法を示す。 また, 提案した理論結果を全数値計算で相関し, 解析し, 導入した形式論の実証的応用例を含む。 最後に,成熟度に到達するための情報理論の一般化に対処すべき課題について述べる。

関連論文リスト

• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
  本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。 我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T17:05:14Z)
• Derivation of Standard Quantum Theory via State Discrimination [53.64687146666141]
  一般確率理論(英: General Probabilistic Theories, GPTs)は、標準量子論を解くための新しい情報理論のアプローチである。 一般モデルにおける状態判別と呼ばれる情報処理における性能のバウンダリに着目する。 我々は,GPTの一般モデルから標準量子論を,状態判別のための性能の境界によって特徴づける。
  論文  参考訳（メタデータ） (2023-07-21T00:02:11Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Bridging the gap between classical and quantum many-body information dynamics [0.0]
  研究は、古典的および量子システムに広がる情報の性質に光を当てる。 物理学、情報理論、統計学にまたがる量子に触発された古典的アプローチの新たな道を開く。
  論文  参考訳（メタデータ） (2022-04-06T18:03:29Z)
• Rate-Distortion Theoretic Generalization Bounds for Stochastic Learning Algorithms [12.020634332110147]
  我々は、レート歪曲理論のレンズを通して、新しい一般化が有界であることを証明している。 我々の結果は、一般化に関するより統一された視点をもたらし、将来の研究方向性を開拓する。
  論文  参考訳（メタデータ） (2022-03-04T18:12:31Z)
• Effect Identification in Cluster Causal Diagrams [51.42809552422494]
  クラスタ因果図(略してC-DAG)と呼ばれる新しいタイプのグラフィカルモデルを導入する。 C-DAGは、限定された事前知識に基づいて変数間の関係を部分的に定義することができる。 我々はC-DAGに対する因果推論のための基礎と機械を開発する。
  論文  参考訳（メタデータ） (2022-02-22T21:27:31Z)
• CPM Categories for Galois Extensions [0.0]
  我々は確率論の無限階層を構築し、構成的デコヒーレンス構造を示す。 これらのデコヒーレンスは物理系の自由度を減少させ、同時に系が定義される分野を制限する。 これらの理論は、完全に未熟な操作意味論を持ち、その研究に対するカテゴリー的アプローチとGPT的なアプローチの両方を可能にしている。
  論文  参考訳（メタデータ） (2021-06-02T14:52:41Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)
• The Role of Mutual Information in Variational Classifiers [47.10478919049443]
  クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。 我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。