論文の概要: Information decomposition in complex systems via machine learning
- arxiv url: http://arxiv.org/abs/2307.04755v2
- Date: Tue, 19 Mar 2024 00:36:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 01:10:08.951063
- Title: Information decomposition in complex systems via machine learning
- Title(参考訳): 機械学習による複雑システムの情報分解
- Authors: Kieran A. Murphy, Dani S. Bassett,
- Abstract要約: 機械学習を用いて、各測定値の損失圧縮を共同最適化することにより、一連の測定値に含まれる情報を分解する。
我々は, 塑性変形を受ける回路とアモルファス材料という, 2つのパラダイム的複雑系に着目した解析を行った。
- 参考スコア(独自算出の注目度): 4.189643331553922
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the fundamental steps toward understanding a complex system is identifying variation at the scale of the system's components that is most relevant to behavior on a macroscopic scale. Mutual information provides a natural means of linking variation across scales of a system due to its independence of functional relationship between observables. However, characterizing the manner in which information is distributed across a set of observables is computationally challenging and generally infeasible beyond a handful of measurements. Here we propose a practical and general methodology that uses machine learning to decompose the information contained in a set of measurements by jointly optimizing a lossy compression of each measurement. Guided by the distributed information bottleneck as a learning objective, the information decomposition identifies the variation in the measurements of the system state most relevant to specified macroscale behavior. We focus our analysis on two paradigmatic complex systems: a Boolean circuit and an amorphous material undergoing plastic deformation. In both examples, the large amount of entropy of the system state is decomposed, bit by bit, in terms of what is most related to macroscale behavior. The identification of meaningful variation in data, with the full generality brought by information theory, is made practical for studying the connection between micro- and macroscale structure in complex systems.
- Abstract(参考訳): 複雑なシステムを理解するための基本的なステップの1つは、マクロスケールの振る舞いに最も関係のあるシステムのコンポーネントのスケールにおける変動を特定することである。
相互情報は、観測物間の機能的関係の独立性から、システムのスケールをまたいで変動をリンクする自然な手段を提供する。
しかしながら、情報が観測対象の集合に分散される方法の特徴付けは、計算的に困難であり、少数の測定範囲を超えて一般的には不可能である。
本稿では、機械学習を用いて、各測定の損失圧縮を共同で最適化することにより、測定セットに含まれる情報を分解する、実用的で一般的な手法を提案する。
分散情報ボトルネックを学習目的として導いた情報分解は、特定マクロな振る舞いに最も関係のあるシステム状態の測定における変動を識別する。
我々は,塑性変形を受けるブール回路とアモルファス材料という,2つのパラダイム的複雑系に着目した解析を行った。
どちらの例でも、システム状態のエントロピーの量は、マクロな振る舞いに最も関係しているものによって、ビット単位で分解される。
情報理論によってもたらされる有意義なデータ変動の同定は、複雑なシステムにおけるミクロ構造とマクロ構造の間の関係を研究するために実用的である。
関連論文リスト
- Targeted Cause Discovery with Data-Driven Learning [66.86881771339145]
本稿では,観測結果から対象変数の因果変数を推定する機械学習手法を提案する。
我々は、シミュレートされたデータの教師あり学習を通じて因果関係を特定するために訓練されたニューラルネットワークを用いる。
大規模遺伝子制御ネットワークにおける因果関係の同定における本手法の有効性を実証した。
論文 参考訳(メタデータ) (2024-08-29T02:21:11Z) - On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games [55.2480439325792]
逐次的意思決定問題において、情報構造とは、異なる時点に発生するシステム内の事象が相互にどのように影響するかを記述するものである。
対照的に、現実のシーケンシャルな意思決定問題は通常、システム変数の複雑で時間的な相互依存を伴う。
情報構造を明示する新しい強化学習モデルを定式化する。
論文 参考訳(メタデータ) (2024-03-01T21:28:19Z) - Towards Information Theory-Based Discovery of Equivariances [1.2289361708127875]
対称性の存在は、システムに厳密な制約のセットを課す。
並行して、複雑性に制約のある学習と行動の原則モデルが、情報理論の手法の利用を増大させる。
本稿では,学習と情報制約のある適応行動に関する多くの原則研究において,生産的基盤として機能する情報ボトルネック原理の新たな変種を提案する。
論文 参考訳(メタデータ) (2023-10-25T11:19:40Z) - Interactive System-wise Anomaly Detection [66.3766756452743]
異常検出は様々なアプリケーションにおいて基本的な役割を果たす。
既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。
システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
論文 参考訳(メタデータ) (2023-04-21T02:20:24Z) - Graph-informed simulation-based inference for models of active matter [5.533353383316288]
シミュレーションに基づく推論は, 系の観測から活性物質パラメータを強く推算するのに有効であることを示す。
我々の研究は、高レベルのシステム情報が集合系の関係構造に含まれることを強調している。
論文 参考訳(メタデータ) (2023-04-05T09:39:17Z) - Causality-Based Multivariate Time Series Anomaly Detection [63.799474860969156]
我々は、因果的観点から異常検出問題を定式化し、多変量データを生成するための通常の因果的メカニズムに従わない事例として、異常を考察する。
次に、まずデータから因果構造を学習し、次に、あるインスタンスが局所因果機構に対して異常であるかどうかを推定する因果検出手法を提案する。
我々は、実世界のAIOpsアプリケーションに関するケーススタディと同様に、シミュレートされたデータセットとパブリックなデータセットの両方を用いて、私たちのアプローチを評価します。
論文 参考訳(メタデータ) (2022-06-30T06:00:13Z) - The Distributed Information Bottleneck reveals the explanatory structure
of complex systems [1.52292571922932]
Information Bottleneck (IB) は、入力と出力の関係を理解するための情報理論フレームワークである。
我々は、入力の複数のコンポーネントにボトルネックを分散する重要な修正が、科学における解釈可能なディープラーニングのための根本的に新しい道を開くことを示しています。
応用数学と凝縮物質物理学から導かれたシステムにおける分散IBの説明ユーティリティを実証する。
論文 参考訳(メタデータ) (2022-04-15T17:59:35Z) - Tracing Information Flow from Open Quantum Systems [52.77024349608834]
我々は導波路アレイに光子を用いて、キュービットと低次元の離散環境とのカップリングの量子シミュレーションを実装した。
量子状態間のトレース距離を情報の尺度として用いて、異なるタイプの情報伝達を分析する。
論文 参考訳(メタデータ) (2021-03-22T16:38:31Z) - On the connection between microscopic description and memory effects in
open quantum system dynamics [0.0]
情報の流れにおけるシステム環境相関と環境進化の役割について検討する。
システム環境の相関関係と環境-状態の区別性との相互作用が,オープンシステムと同一の情報フローにどのように結びつくかを明らかにする。
論文 参考訳(メタデータ) (2021-01-18T19:01:19Z) - Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。
現実世界の応用にはいくつかの望ましい性質がある。
しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
論文 参考訳(メタデータ) (2020-10-08T07:22:16Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳(メタデータ) (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。