論文の概要: The Distributed Information Bottleneck reveals the explanatory structure
of complex systems
- arxiv url: http://arxiv.org/abs/2204.07576v1
- Date: Fri, 15 Apr 2022 17:59:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-18 13:21:06.632225
- Title: The Distributed Information Bottleneck reveals the explanatory structure
of complex systems
- Title（参考訳）: 分散情報ボトルネックは複雑なシステムの説明構造を明らかにする
- Authors: Kieran A. Murphy and Dani S. Bassett
- Abstract要約: Information Bottleneck (IB) は、入力と出力の関係を理解するための情報理論フレームワークである。
我々は、入力の複数のコンポーネントにボトルネックを分散する重要な修正が、科学における解釈可能なディープラーニングのための根本的に新しい道を開くことを示しています。
応用数学と凝縮物質物理学から導かれたシステムにおける分散IBの説明ユーティリティを実証する。
- 参考スコア（独自算出の注目度）: 1.52292571922932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The fruits of science are relationships made comprehensible, often by way of
approximation. While deep learning is an extremely powerful way to find
relationships in data, its use in science has been hindered by the difficulty
of understanding the learned relationships. The Information Bottleneck (IB) is
an information theoretic framework for understanding a relationship between an
input and an output in terms of a trade-off between the fidelity and complexity
of approximations to the relationship. Here we show that a crucial modification
-- distributing bottlenecks across multiple components of the input -- opens
fundamentally new avenues for interpretable deep learning in science. The
Distributed Information Bottleneck throttles the downstream complexity of
interactions between the components of the input, deconstructing a relationship
into meaningful approximations found through deep learning without requiring
custom-made datasets or neural network architectures. Applied to a complex
system, the approximations illuminate aspects of the system's nature by
restricting -- and monitoring -- the information about different components
incorporated into the approximation. We demonstrate the Distributed IB's
explanatory utility in systems drawn from applied mathematics and condensed
matter physics. In the former, we deconstruct a Boolean circuit into
approximations that isolate the most informative subsets of input components
without requiring exhaustive search. In the latter, we localize information
about future plastic rearrangement in the static structure of a sheared glass,
and find the information to be more or less diffuse depending on the system's
preparation. By way of a principled scheme of approximations, the Distributed
IB brings much-needed interpretability to deep learning and enables
unprecedented analysis of information flow through a system.
- Abstract（参考訳）: 科学の果実は、しばしば近似によって理解されやすい関係である。
ディープラーニングはデータに関係性を見出すための非常に強力な方法だが、科学におけるその利用は、学習した関係を理解することの難しさによって妨げられている。
情報ボトルネック(インフォメーション・ボトルネック、英: information bottleneck、ib)は、入力と出力の関係を、その関係に対する近似の忠実性と複雑さの間のトレードオフの観点から理解するための情報理論的枠組みである。
ここでは、重要な変更 -- 入力の複数のコンポーネントにまたがってボトルネックを分散する -- が、科学における解釈可能なディープラーニングの基本的な新しい道を開くことを示します。
Distributed Information Bottleneckは、入力のコンポーネント間のインタラクションの下流の複雑さを緩和し、カスタムメイドのデータセットやニューラルネットワークアーキテクチャを必要とせずに、ディープラーニングを通じて見出される意味のある近似に関係を分解する。
複雑なシステムに適用された近似は、近似に組み込まれたさまざまなコンポーネントに関する情報を制限することで、システムの性質の側面を照らす。
応用数学と凝縮物質物理学から導かれたシステムにおける分散IBの説明ユーティリティを実証する。
前者では、ブール回路を入力成分の最も有益な部分集合を排他的な探索を必要とせずに分離する近似に分解する。
後者では, せん断ガラスの静的構造において, 将来のプラスチック再配置に関する情報を局所化し, システムの準備に応じて多かれ少なかれ拡散する情報を見出す。
原理的な近似スキームにより、Distributed IBは深層学習に多くの必要な解釈可能性をもたらし、システムを通しての情報フローを前例のない分析を可能にする。
関連論文リスト
- Loop Polarity Analysis to Avoid Underspecification in Deep Learning [0.0]
本稿では,データ生成過程の因果構造を特定するツールとして,ループ極性解析に目を向ける。
システムを構成する異なるフィードバックループの極性を測定することで、ニューラルネットワークのより堅牢な推論が可能になることを示す。
論文 参考訳（メタデータ） (2023-09-18T23:49:42Z) - Information decomposition in complex systems via machine learning [4.189643331553922]
機械学習を用いて、各測定値の損失圧縮を共同最適化することにより、一連の測定値に含まれる情報を分解する。
我々は, 塑性変形を受ける回路とアモルファス材料という, 2つのパラダイム的複雑系に着目した解析を行った。
論文 参考訳（メタデータ） (2023-07-10T17:57:32Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳（メタデータ） (2022-06-09T16:24:01Z) - Sample-Efficient Reinforcement Learning in the Presence of Exogenous
Information [77.19830787312743]
実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。
本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。
内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
論文 参考訳（メタデータ） (2022-06-09T05:19:32Z) - Information fusion between knowledge and data in Bayesian network
structure learning [5.994412766684843]
本稿では,オープンソースのベイジィス構造学習システムで実装された情報融合手法について述べる。
結果は、限定データとビッグデータの両方で示され、ベイジスで利用可能なBN構造学習アルゴリズムが3つ適用されている。
論文 参考訳（メタデータ） (2021-01-31T15:45:29Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - A Framework for Learning Invariant Physical Relations in Multimodal
Sensory Processing [0.0]
我々は、教師なしの方法で、知覚的手がかり間の関係を学習できる新しいニューラルネットワークアーキテクチャを設計する。
低次元知覚データにおける任意の非線形関係を学習する際のコアシステム機能について述べる。
我々は、標準的なRGBカメラフレームから物理量間の関係を学習する現実世界の学習問題を通してこれを実証する。
論文 参考訳（メタデータ） (2020-06-30T08:42:48Z) - A Theory of Usable Information Under Computational Constraints [103.5901638681034]
本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。
我々の基礎はシャノンの情報理論の変分拡張に基づいている。
計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
論文 参考訳（メタデータ） (2020-02-25T06:09:30Z) - Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。
MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。
本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
論文 参考訳（メタデータ） (2020-02-17T19:06:05Z) - Distributed Learning in the Non-Convex World: From Batch to Streaming
Data, and Beyond [73.03743482037378]
分散学習は、多くの人々が想定する、大規模に接続された世界の重要な方向となっている。
本稿では、スケーラブルな分散処理とリアルタイムデータ計算の4つの重要な要素について論じる。
実践的な問題や今後の研究についても論じる。
論文 参考訳（メタデータ） (2020-01-14T14:11:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。