論文の概要: The Distributed Information Bottleneck reveals the explanatory structure
of complex systems
- arxiv url: http://arxiv.org/abs/2204.07576v1
- Date: Fri, 15 Apr 2022 17:59:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-18 13:21:06.632225
- Title: The Distributed Information Bottleneck reveals the explanatory structure
of complex systems
- Title（参考訳）: 分散情報ボトルネックは複雑なシステムの説明構造を明らかにする
- Authors: Kieran A. Murphy and Dani S. Bassett
- Abstract要約: Information Bottleneck (IB) は、入力と出力の関係を理解するための情報理論フレームワークである。
我々は、入力の複数のコンポーネントにボトルネックを分散する重要な修正が、科学における解釈可能なディープラーニングのための根本的に新しい道を開くことを示しています。
応用数学と凝縮物質物理学から導かれたシステムにおける分散IBの説明ユーティリティを実証する。
- 参考スコア（独自算出の注目度）: 1.52292571922932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The fruits of science are relationships made comprehensible, often by way of
approximation. While deep learning is an extremely powerful way to find
relationships in data, its use in science has been hindered by the difficulty
of understanding the learned relationships. The Information Bottleneck (IB) is
an information theoretic framework for understanding a relationship between an
input and an output in terms of a trade-off between the fidelity and complexity
of approximations to the relationship. Here we show that a crucial modification
-- distributing bottlenecks across multiple components of the input -- opens
fundamentally new avenues for interpretable deep learning in science. The
Distributed Information Bottleneck throttles the downstream complexity of
interactions between the components of the input, deconstructing a relationship
into meaningful approximations found through deep learning without requiring
custom-made datasets or neural network architectures. Applied to a complex
system, the approximations illuminate aspects of the system's nature by
restricting -- and monitoring -- the information about different components
incorporated into the approximation. We demonstrate the Distributed IB's
explanatory utility in systems drawn from applied mathematics and condensed
matter physics. In the former, we deconstruct a Boolean circuit into
approximations that isolate the most informative subsets of input components
without requiring exhaustive search. In the latter, we localize information
about future plastic rearrangement in the static structure of a sheared glass,
and find the information to be more or less diffuse depending on the system's
preparation. By way of a principled scheme of approximations, the Distributed
IB brings much-needed interpretability to deep learning and enables
unprecedented analysis of information flow through a system.
- Abstract（参考訳）: 科学の果実は、しばしば近似によって理解されやすい関係である。
ディープラーニングはデータに関係性を見出すための非常に強力な方法だが、科学におけるその利用は、学習した関係を理解することの難しさによって妨げられている。
情報ボトルネック(インフォメーション・ボトルネック、英: information bottleneck、ib)は、入力と出力の関係を、その関係に対する近似の忠実性と複雑さの間のトレードオフの観点から理解するための情報理論的枠組みである。
ここでは、重要な変更 -- 入力の複数のコンポーネントにまたがってボトルネックを分散する -- が、科学における解釈可能なディープラーニングの基本的な新しい道を開くことを示します。
Distributed Information Bottleneckは、入力のコンポーネント間のインタラクションの下流の複雑さを緩和し、カスタムメイドのデータセットやニューラルネットワークアーキテクチャを必要とせずに、ディープラーニングを通じて見出される意味のある近似に関係を分解する。
複雑なシステムに適用された近似は、近似に組み込まれたさまざまなコンポーネントに関する情報を制限することで、システムの性質の側面を照らす。
応用数学と凝縮物質物理学から導かれたシステムにおける分散IBの説明ユーティリティを実証する。
前者では、ブール回路を入力成分の最も有益な部分集合を排他的な探索を必要とせずに分離する近似に分解する。
後者では, せん断ガラスの静的構造において, 将来のプラスチック再配置に関する情報を局所化し, システムの準備に応じて多かれ少なかれ拡散する情報を見出す。
原理的な近似スキームにより、Distributed IBは深層学習に多くの必要な解釈可能性をもたらし、システムを通しての情報フローを前例のない分析を可能にする。
関連論文リスト
- Surveying the space of descriptions of a composite system with machine learning [5.473530151011081]
本研究では,複合システムの組織構造を窓として記述可能な連続空間について検討する。
本稿では,組織の特徴付けに使用する鍵情報理論量を最大化する記述を最適化する機械学習フレームワークを提案する。
機械学習を複合確率変数の詳細な情報理論解析に組み込むことで、実世界の複雑なシステムの構造を探索するための新たな道を開く。
論文 参考訳（メタデータ） (2024-11-27T18:24:13Z) - Loop Polarity Analysis to Avoid Underspecification in Deep Learning [0.0]
本稿では,データ生成過程の因果構造を特定するツールとして,ループ極性解析に目を向ける。
システムを構成する異なるフィードバックループの極性を測定することで、ニューラルネットワークのより堅牢な推論が可能になることを示す。
論文 参考訳（メタデータ） (2023-09-18T23:49:42Z) - Information decomposition in complex systems via machine learning [4.189643331553922]
機械学習を用いて、各測定値の損失圧縮を共同最適化することにより、一連の測定値に含まれる情報を分解する。
我々は, 塑性変形を受ける回路とアモルファス材料という, 2つのパラダイム的複雑系に着目した解析を行った。
論文 参考訳（メタデータ） (2023-07-10T17:57:32Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳（メタデータ） (2022-06-09T16:24:01Z) - Sample-Efficient Reinforcement Learning in the Presence of Exogenous
Information [77.19830787312743]
実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。
本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。
内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
論文 参考訳（メタデータ） (2022-06-09T05:19:32Z) - Information fusion between knowledge and data in Bayesian network
structure learning [5.994412766684843]
本稿では,オープンソースのベイジィス構造学習システムで実装された情報融合手法について述べる。
結果は、限定データとビッグデータの両方で示され、ベイジスで利用可能なBN構造学習アルゴリズムが3つ適用されている。
論文 参考訳（メタデータ） (2021-01-31T15:45:29Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - A Theory of Usable Information Under Computational Constraints [103.5901638681034]
本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。
我々の基礎はシャノンの情報理論の変分拡張に基づいている。
計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
論文 参考訳（メタデータ） (2020-02-25T06:09:30Z) - Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。
MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。
本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
論文 参考訳（メタデータ） (2020-02-17T19:06:05Z) - Distributed Learning in the Non-Convex World: From Batch to Streaming
Data, and Beyond [73.03743482037378]
分散学習は、多くの人々が想定する、大規模に接続された世界の重要な方向となっている。
本稿では、スケーラブルな分散処理とリアルタイムデータ計算の4つの重要な要素について論じる。
実践的な問題や今後の研究についても論じる。
論文 参考訳（メタデータ） (2020-01-14T14:11:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。