論文の概要: Information decomposition to identify relevant variation in complex
systems with machine learning
- arxiv url: http://arxiv.org/abs/2307.04755v1
- Date: Mon, 10 Jul 2023 17:57:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 12:04:15.714184
- Title: Information decomposition to identify relevant variation in complex
systems with machine learning
- Title（参考訳）: 機械学習を用いた複雑なシステムにおける情報分解
- Authors: Kieran A. Murphy, Dani S. Bassett
- Abstract要約: 本研究では,一連の測定値に含まれる情報を分解する,実用的で効率的かつ広く適用可能な手法を提案する。
情報分解は、特定のマクロな振る舞いと関連して、システム状態の測定における変動をソートする。
エントロピーの特定のビットは、システム状態の高エントロピーのうち、マクロスケールの挙動に最も関係しているものとして同定される。
- 参考スコア（独自算出の注目度）: 1.52292571922932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the fundamental steps toward understanding a complex system is
identifying variation at the scale of the system's components that is most
relevant to behavior on a macroscopic scale. Mutual information is a natural
means of linking variation across scales of a system due to its independence of
the particular functional relationship between variables. However, estimating
mutual information given high-dimensional, continuous-valued data is
notoriously difficult, and the desideratum -- to reveal important variation in
a comprehensible manner -- is only readily achieved through exhaustive search.
Here we propose a practical, efficient, and broadly applicable methodology to
decompose the information contained in a set of measurements by lossily
compressing each measurement with machine learning. Guided by the distributed
information bottleneck as a learning objective, the information decomposition
sorts variation in the measurements of the system state by relevance to
specified macroscale behavior, revealing the most important subsets of
measurements for different amounts of predictive information. Additional
granularity is achieved by inspection of the learned compression schemes: the
variation transmitted during compression is composed of distinctions among
measurement values that are most relevant to the macroscale behavior. We focus
our analysis on two paradigmatic complex systems: a Boolean circuit and an
amorphous material undergoing plastic deformation. In both examples, specific
bits of entropy are identified out of the high entropy of the system state as
most related to macroscale behavior for insight about the connection between
micro- and macro- in the complex system. The identification of meaningful
variation in data, with the full generality brought by information theory, is
made practical for the study of complex systems.
- Abstract（参考訳）: 複雑なシステムを理解するための基本的なステップの1つは、マクロスケールの振る舞いに最も関連するシステムのコンポーネントのスケールにおけるばらつきを特定することである。
相互情報は、変数間の特定の機能的関係の独立性から、システムのスケールにわたって変動をリンクする自然な手段である。
しかし、高次元の連続値データを与える相互情報の推定は、悪名高く、理解可能な方法で重要な変化を明らかにするためのデシデラトゥムは、徹底的な探索によってのみ達成される。
本稿では,各測定値を機械学習で可逆圧縮することにより,測定セットに含まれる情報を分解する,実用的で効率的で広く適用可能な手法を提案する。
分散情報ボトルネックを学習目的として導いた情報分解は、特定のマクロな振る舞いと関連して、システム状態の測定のばらつきをソートし、異なる量の予測情報に対する測定の最も重要なサブセットを明らかにする。
さらなる粒度は、学習された圧縮スキームの検査によって達成される: 圧縮中に伝達される変動は、マクロスケールの挙動に最も関係のある測定値間の区別によって構成される。
我々は, ブール回路と塑性変形を受ける非晶質材料という2つのパラダイム複雑系に着目した。
どちらの例でも、エントロピーの特定のビットは、複雑なシステムにおけるマイクロとマクロの接続についての洞察を得るために、マクロスケールの振る舞いに最も関係しているシステム状態の高エントロピーから識別される。
情報理論によってもたらされる全一般性を持つデータ有意義な変動の同定は、複雑なシステムの研究に実用的である。
関連論文リスト
- Targeted Cause Discovery with Data-Driven Learning [66.86881771339145]
本稿では,観測結果から対象変数の因果変数を推定する機械学習手法を提案する。
我々は、シミュレートされたデータの教師あり学習を通じて因果関係を特定するために訓練されたニューラルネットワークを用いる。
大規模遺伝子制御ネットワークにおける因果関係の同定における本手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-08-29T02:21:11Z) - On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games [55.2480439325792]
逐次的意思決定問題において、情報構造とは、異なる時点に発生するシステム内の事象が相互にどのように影響するかを記述するものである。
対照的に、現実のシーケンシャルな意思決定問題は通常、システム変数の複雑で時間的な相互依存を伴う。
情報構造を明示する新しい強化学習モデルを定式化する。
論文 参考訳（メタデータ） (2024-03-01T21:28:19Z) - Towards Information Theory-Based Discovery of Equivariances [1.2289361708127875]
対称性の存在は、システムに厳密な制約のセットを課す。
並行して、複雑性に制約のある学習と行動の原則モデルが、情報理論の手法の利用を増大させる。
本稿では,学習と情報制約のある適応行動に関する多くの原則研究において,生産的基盤として機能する情報ボトルネック原理の新たな変種を提案する。
論文 参考訳（メタデータ） (2023-10-25T11:19:40Z) - Interactive System-wise Anomaly Detection [66.3766756452743]
異常検出は様々なアプリケーションにおいて基本的な役割を果たす。
既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。
システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
論文 参考訳（メタデータ） (2023-04-21T02:20:24Z) - Graph-informed simulation-based inference for models of active matter [5.533353383316288]
シミュレーションに基づく推論は, 系の観測から活性物質パラメータを強く推算するのに有効であることを示す。
我々の研究は、高レベルのシステム情報が集合系の関係構造に含まれることを強調している。
論文 参考訳（メタデータ） (2023-04-05T09:39:17Z) - Causality-Based Multivariate Time Series Anomaly Detection [63.799474860969156]
我々は、因果的観点から異常検出問題を定式化し、多変量データを生成するための通常の因果的メカニズムに従わない事例として、異常を考察する。
次に、まずデータから因果構造を学習し、次に、あるインスタンスが局所因果機構に対して異常であるかどうかを推定する因果検出手法を提案する。
我々は、実世界のAIOpsアプリケーションに関するケーススタディと同様に、シミュレートされたデータセットとパブリックなデータセットの両方を用いて、私たちのアプローチを評価します。
論文 参考訳（メタデータ） (2022-06-30T06:00:13Z) - The Distributed Information Bottleneck reveals the explanatory structure
of complex systems [1.52292571922932]
Information Bottleneck (IB) は、入力と出力の関係を理解するための情報理論フレームワークである。
我々は、入力の複数のコンポーネントにボトルネックを分散する重要な修正が、科学における解釈可能なディープラーニングのための根本的に新しい道を開くことを示しています。
応用数学と凝縮物質物理学から導かれたシステムにおける分散IBの説明ユーティリティを実証する。
論文 参考訳（メタデータ） (2022-04-15T17:59:35Z) - Tracing Information Flow from Open Quantum Systems [52.77024349608834]
我々は導波路アレイに光子を用いて、キュービットと低次元の離散環境とのカップリングの量子シミュレーションを実装した。
量子状態間のトレース距離を情報の尺度として用いて、異なるタイプの情報伝達を分析する。
論文 参考訳（メタデータ） (2021-03-22T16:38:31Z) - On the connection between microscopic description and memory effects in
open quantum system dynamics [0.0]
情報の流れにおけるシステム環境相関と環境進化の役割について検討する。
システム環境の相関関係と環境-状態の区別性との相互作用が,オープンシステムと同一の情報フローにどのように結びつくかを明らかにする。
論文 参考訳（メタデータ） (2021-01-18T19:01:19Z) - Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。
現実世界の応用にはいくつかの望ましい性質がある。
しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
論文 参考訳（メタデータ） (2020-10-08T07:22:16Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳（メタデータ） (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。