論文の概要: Information decomposition to identify relevant variation in complex
systems with machine learning
- arxiv url: http://arxiv.org/abs/2307.04755v1
- Date: Mon, 10 Jul 2023 17:57:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 12:04:15.714184
- Title: Information decomposition to identify relevant variation in complex
systems with machine learning
- Title(参考訳): 機械学習を用いた複雑なシステムにおける情報分解
- Authors: Kieran A. Murphy, Dani S. Bassett
- Abstract要約: 本研究では,一連の測定値に含まれる情報を分解する,実用的で効率的かつ広く適用可能な手法を提案する。
情報分解は、特定のマクロな振る舞いと関連して、システム状態の測定における変動をソートする。
エントロピーの特定のビットは、システム状態の高エントロピーのうち、マクロスケールの挙動に最も関係しているものとして同定される。
- 参考スコア(独自算出の注目度): 1.52292571922932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the fundamental steps toward understanding a complex system is
identifying variation at the scale of the system's components that is most
relevant to behavior on a macroscopic scale. Mutual information is a natural
means of linking variation across scales of a system due to its independence of
the particular functional relationship between variables. However, estimating
mutual information given high-dimensional, continuous-valued data is
notoriously difficult, and the desideratum -- to reveal important variation in
a comprehensible manner -- is only readily achieved through exhaustive search.
Here we propose a practical, efficient, and broadly applicable methodology to
decompose the information contained in a set of measurements by lossily
compressing each measurement with machine learning. Guided by the distributed
information bottleneck as a learning objective, the information decomposition
sorts variation in the measurements of the system state by relevance to
specified macroscale behavior, revealing the most important subsets of
measurements for different amounts of predictive information. Additional
granularity is achieved by inspection of the learned compression schemes: the
variation transmitted during compression is composed of distinctions among
measurement values that are most relevant to the macroscale behavior. We focus
our analysis on two paradigmatic complex systems: a Boolean circuit and an
amorphous material undergoing plastic deformation. In both examples, specific
bits of entropy are identified out of the high entropy of the system state as
most related to macroscale behavior for insight about the connection between
micro- and macro- in the complex system. The identification of meaningful
variation in data, with the full generality brought by information theory, is
made practical for the study of complex systems.
- Abstract(参考訳): 複雑なシステムを理解するための基本的なステップの1つは、マクロスケールの振る舞いに最も関連するシステムのコンポーネントのスケールにおけるばらつきを特定することである。
相互情報は、変数間の特定の機能的関係の独立性から、システムのスケールにわたって変動をリンクする自然な手段である。
しかし、高次元の連続値データを与える相互情報の推定は、悪名高く、理解可能な方法で重要な変化を明らかにするためのデシデラトゥムは、徹底的な探索によってのみ達成される。
本稿では,各測定値を機械学習で可逆圧縮することにより,測定セットに含まれる情報を分解する,実用的で効率的で広く適用可能な手法を提案する。
分散情報ボトルネックを学習目的として導いた情報分解は、特定のマクロな振る舞いと関連して、システム状態の測定のばらつきをソートし、異なる量の予測情報に対する測定の最も重要なサブセットを明らかにする。
さらなる粒度は、学習された圧縮スキームの検査によって達成される: 圧縮中に伝達される変動は、マクロスケールの挙動に最も関係のある測定値間の区別によって構成される。
我々は, ブール回路と塑性変形を受ける非晶質材料という2つのパラダイム複雑系に着目した。
どちらの例でも、エントロピーの特定のビットは、複雑なシステムにおけるマイクロとマクロの接続についての洞察を得るために、マクロスケールの振る舞いに最も関係しているシステム状態の高エントロピーから識別される。
情報理論によってもたらされる全一般性を持つデータ有意義な変動の同定は、複雑なシステムの研究に実用的である。
関連論文リスト
- On the Role of Information Structure in Reinforcement Learning for
Partially-Observable Sequential Teams and Games [65.268245109828]
情報構造の明示的表現は、強化学習問題を解析・解決する重要な要素であると主張する。
これにより、シーケンシャルな意思決定問題のよりリッチな分析が可能となり、より適切なアルゴリズム設計が可能となる。
論文 参考訳(メタデータ) (2024-03-01T21:28:19Z) - S$\Omega$I: Score-based O-INFORMATION Estimation [8.316365279740188]
S$Omega$I を導入し,システムに関する制約的な仮定を伴わずに初めて O-information を計算できるようにした。
本実験は, 実世界のユースケースにおけるS$Omega$Iの有効性を実証するものである。
論文 参考訳(メタデータ) (2024-02-08T13:38:23Z) - Towards Information Theory-Based Discovery of Equivariances [1.3812010983144798]
対称性の存在は、システムに厳密な制約のセットを課す。
この制約された構造により、知的エージェントがそのようなシステムと相互作用し、学習と一般化の効率を大幅に改善することができる。
並行して、複雑性に制約のある学習と行動の原則モデルが、情報理論の手法の利用を増大させる。
論文 参考訳(メタデータ) (2023-10-25T11:19:40Z) - Interactive System-wise Anomaly Detection [66.3766756452743]
異常検出は様々なアプリケーションにおいて基本的な役割を果たす。
既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。
システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
論文 参考訳(メタデータ) (2023-04-21T02:20:24Z) - Causality-Based Multivariate Time Series Anomaly Detection [63.799474860969156]
我々は、因果的観点から異常検出問題を定式化し、多変量データを生成するための通常の因果的メカニズムに従わない事例として、異常を考察する。
次に、まずデータから因果構造を学習し、次に、あるインスタンスが局所因果機構に対して異常であるかどうかを推定する因果検出手法を提案する。
我々は、実世界のAIOpsアプリケーションに関するケーススタディと同様に、シミュレートされたデータセットとパブリックなデータセットの両方を用いて、私たちのアプローチを評価します。
論文 参考訳(メタデータ) (2022-06-30T06:00:13Z) - Sample-Efficient Reinforcement Learning in the Presence of Exogenous
Information [77.19830787312743]
実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。
本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。
内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
論文 参考訳(メタデータ) (2022-06-09T05:19:32Z) - Disentanglement Analysis with Partial Information Decomposition [31.56299813238937]
不整合表現は、異なる生成因子を個別にキャプチャする複数のランダム変数にデータをマッピングすることで、プロセスを逆転させることを目的としている。
現在の遠絡測定値は、各生成因子によって条件付けられた各変数の絶対偏差、分散、エントロピーなどの濃度を測定するように設計されている。
本研究では,2つ以上の変数間の情報共有を評価するために部分情報分解フレームワークを使用し,新しいアンタングル化指標を含むフレームワークを構築する。
論文 参考訳(メタデータ) (2021-08-31T11:09:40Z) - Tracing Information Flow from Open Quantum Systems [52.77024349608834]
我々は導波路アレイに光子を用いて、キュービットと低次元の離散環境とのカップリングの量子シミュレーションを実装した。
量子状態間のトレース距離を情報の尺度として用いて、異なるタイプの情報伝達を分析する。
論文 参考訳(メタデータ) (2021-03-22T16:38:31Z) - On the connection between microscopic description and memory effects in
open quantum system dynamics [0.0]
情報の流れにおけるシステム環境相関と環境進化の役割について検討する。
システム環境の相関関係と環境-状態の区別性との相互作用が,オープンシステムと同一の情報フローにどのように結びつくかを明らかにする。
論文 参考訳(メタデータ) (2021-01-18T19:01:19Z) - Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。
現実世界の応用にはいくつかの望ましい性質がある。
しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
論文 参考訳(メタデータ) (2020-10-08T07:22:16Z) - Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。
MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。
本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
論文 参考訳(メタデータ) (2020-02-17T19:06:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。