論文の概要: The Distributed Information Bottleneck reveals the explanatory structure
of complex systems
- arxiv url: http://arxiv.org/abs/2204.07576v1
- Date: Fri, 15 Apr 2022 17:59:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-18 13:21:06.632225
- Title: The Distributed Information Bottleneck reveals the explanatory structure
of complex systems
- Title(参考訳): 分散情報ボトルネックは複雑なシステムの説明構造を明らかにする
- Authors: Kieran A. Murphy and Dani S. Bassett
- Abstract要約: Information Bottleneck (IB) は、入力と出力の関係を理解するための情報理論フレームワークである。
我々は、入力の複数のコンポーネントにボトルネックを分散する重要な修正が、科学における解釈可能なディープラーニングのための根本的に新しい道を開くことを示しています。
応用数学と凝縮物質物理学から導かれたシステムにおける分散IBの説明ユーティリティを実証する。
- 参考スコア(独自算出の注目度): 1.52292571922932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The fruits of science are relationships made comprehensible, often by way of
approximation. While deep learning is an extremely powerful way to find
relationships in data, its use in science has been hindered by the difficulty
of understanding the learned relationships. The Information Bottleneck (IB) is
an information theoretic framework for understanding a relationship between an
input and an output in terms of a trade-off between the fidelity and complexity
of approximations to the relationship. Here we show that a crucial modification
-- distributing bottlenecks across multiple components of the input -- opens
fundamentally new avenues for interpretable deep learning in science. The
Distributed Information Bottleneck throttles the downstream complexity of
interactions between the components of the input, deconstructing a relationship
into meaningful approximations found through deep learning without requiring
custom-made datasets or neural network architectures. Applied to a complex
system, the approximations illuminate aspects of the system's nature by
restricting -- and monitoring -- the information about different components
incorporated into the approximation. We demonstrate the Distributed IB's
explanatory utility in systems drawn from applied mathematics and condensed
matter physics. In the former, we deconstruct a Boolean circuit into
approximations that isolate the most informative subsets of input components
without requiring exhaustive search. In the latter, we localize information
about future plastic rearrangement in the static structure of a sheared glass,
and find the information to be more or less diffuse depending on the system's
preparation. By way of a principled scheme of approximations, the Distributed
IB brings much-needed interpretability to deep learning and enables
unprecedented analysis of information flow through a system.
- Abstract(参考訳): 科学の果実は、しばしば近似によって理解されやすい関係である。
ディープラーニングはデータに関係性を見出すための非常に強力な方法だが、科学におけるその利用は、学習した関係を理解することの難しさによって妨げられている。
情報ボトルネック(インフォメーション・ボトルネック、英: information bottleneck、ib)は、入力と出力の関係を、その関係に対する近似の忠実性と複雑さの間のトレードオフの観点から理解するための情報理論的枠組みである。
ここでは、重要な変更 -- 入力の複数のコンポーネントにまたがってボトルネックを分散する -- が、科学における解釈可能なディープラーニングの基本的な新しい道を開くことを示します。
Distributed Information Bottleneckは、入力のコンポーネント間のインタラクションの下流の複雑さを緩和し、カスタムメイドのデータセットやニューラルネットワークアーキテクチャを必要とせずに、ディープラーニングを通じて見出される意味のある近似に関係を分解する。
複雑なシステムに適用された近似は、近似に組み込まれたさまざまなコンポーネントに関する情報を制限することで、システムの性質の側面を照らす。
応用数学と凝縮物質物理学から導かれたシステムにおける分散IBの説明ユーティリティを実証する。
前者では、ブール回路を入力成分の最も有益な部分集合を排他的な探索を必要とせずに分離する近似に分解する。
後者では, せん断ガラスの静的構造において, 将来のプラスチック再配置に関する情報を局所化し, システムの準備に応じて多かれ少なかれ拡散する情報を見出す。
原理的な近似スキームにより、Distributed IBは深層学習に多くの必要な解釈可能性をもたらし、システムを通しての情報フローを前例のない分析を可能にする。
関連論文リスト
- On the Role of Information Structure in Reinforcement Learning for
Partially-Observable Sequential Teams and Games [65.268245109828]
情報構造の明示的表現は、強化学習問題を解析・解決する重要な要素であると主張する。
これにより、シーケンシャルな意思決定問題のよりリッチな分析が可能となり、より適切なアルゴリズム設計が可能となる。
論文 参考訳(メタデータ) (2024-03-01T21:28:19Z) - Towards End-to-End Structure Solutions from Information-Compromised
Diffraction Data via Generative Deep Learning [6.617784410952713]
機械学習(ML)とディープラーニング(DL)は、既に知られている構造を持つ大規模データベースから学習した事前知識を用いて、劣化した入力信号の情報を増大させるため、有望なアプローチである。
ここでは、この問題にエンドツーエンドで対処する堅牢だが汎用的なツールである、バラツキクエリベースのマルチブランチディープニューラルネットワークである、新しいMLアプローチを提案する。
このシステムは、既知の化学組成情報と部分的に知られている化学組成情報の両方で、目に見えない素材の真実と平均9.3.4%の類似性を達成している。
論文 参考訳(メタデータ) (2023-12-23T02:17:27Z) - Information decomposition to identify relevant variation in complex
systems with machine learning [1.52292571922932]
本研究では,一連の測定値に含まれる情報を分解する,実用的で効率的かつ広く適用可能な手法を提案する。
情報分解は、特定のマクロな振る舞いと関連して、システム状態の測定における変動をソートする。
エントロピーの特定のビットは、システム状態の高エントロピーのうち、マクロスケールの挙動に最も関係しているものとして同定される。
論文 参考訳(メタデータ) (2023-07-10T17:57:32Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳(メタデータ) (2022-06-09T16:24:01Z) - Sample-Efficient Reinforcement Learning in the Presence of Exogenous
Information [77.19830787312743]
実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。
本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。
内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
論文 参考訳(メタデータ) (2022-06-09T05:19:32Z) - Information fusion between knowledge and data in Bayesian network
structure learning [5.994412766684843]
本稿では,オープンソースのベイジィス構造学習システムで実装された情報融合手法について述べる。
結果は、限定データとビッグデータの両方で示され、ベイジスで利用可能なBN構造学習アルゴリズムが3つ適用されている。
論文 参考訳(メタデータ) (2021-01-31T15:45:29Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - A Framework for Learning Invariant Physical Relations in Multimodal
Sensory Processing [0.0]
我々は、教師なしの方法で、知覚的手がかり間の関係を学習できる新しいニューラルネットワークアーキテクチャを設計する。
低次元知覚データにおける任意の非線形関係を学習する際のコアシステム機能について述べる。
我々は、標準的なRGBカメラフレームから物理量間の関係を学習する現実世界の学習問題を通してこれを実証する。
論文 参考訳(メタデータ) (2020-06-30T08:42:48Z) - A Theory of Usable Information Under Computational Constraints [103.5901638681034]
本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。
我々の基礎はシャノンの情報理論の変分拡張に基づいている。
計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
論文 参考訳(メタデータ) (2020-02-25T06:09:30Z) - Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。
MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。
本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
論文 参考訳(メタデータ) (2020-02-17T19:06:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。