論文の概要: Information Flow in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2202.06749v1
• Date: Thu, 10 Feb 2022 23:32:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-19 09:12:24.832066
• Title: Information Flow in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおける情報フロー
• Authors: Ravid Shwartz-Ziv
• Abstract要約: ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。 深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。 この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
• 参考スコア（独自算出の注目度）: 0.6922389632860545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although deep neural networks have been immensely successful, there is no comprehensive theoretical understanding of how they work or are structured. As a result, deep networks are often seen as black boxes with unclear interpretations and reliability. Understanding the performance of deep neural networks is one of the greatest scientific challenges. This work aims to apply principles and techniques from information theory to deep learning models to increase our theoretical understanding and design better algorithms. We first describe our information-theoretic approach to deep learning. Then, we propose using the Information Bottleneck (IB) theory to explain deep learning systems. The novel paradigm for analyzing networks sheds light on their layered structure, generalization abilities, and learning dynamics. We later discuss one of the most challenging problems of applying the IB to deep neural networks - estimating mutual information. Recent theoretical developments, such as the neural tangent kernel (NTK) framework, are used to investigate generalization signals. In our study, we obtained tractable computations of many information-theoretic quantities and their bounds for infinite ensembles of infinitely wide neural networks. With these derivations, we can determine how compression, generalization, and sample size pertain to the network and how they are related. At the end, we present the dual Information Bottleneck (dualIB). This new information-theoretic framework resolves some of the IB's shortcomings by merely switching terms in the distortion function. The dualIB can account for known data features and use them to make better predictions over unseen examples. The underlying structure and the optimal representations are uncovered through an analytical framework, and a variational framework using deep neural networks optimizes has been used.
• Abstract（参考訳）: ディープニューラルネットワークは非常に成功したが、その動作方法や構造に関する包括的な理論的理解は存在しない。 その結果、深層ネットワークは解釈や信頼性が不明なブラックボックスと見なされることが多い。 ディープニューラルネットワークのパフォーマンスを理解することは、最大の科学的課題の1つです。 この研究の目的は、情報理論からディープラーニングモデルへの原則と技術を適用し、理論的な理解を高め、より良いアルゴリズムを設計することである。 まず,深層学習に対する情報理論的アプローチについて述べる。 そこで我々は,深層学習システムを説明するために,Information Bottleneck(IB)理論を提案する。 ネットワークを解析するための新しいパラダイムは、階層構造、一般化能力、学習力学に光を当てる。 深層ニューラルネットワークにibを適用する際の最も難しい問題の一つとして,相互情報の推定について論じる。 ニューラルネットワークカーネル(NTK)フレームワークなどの最近の理論的発展は、一般化信号の研究に利用されている。 本研究では,無限大ニューラルネットワークの無限大アンサンブルに対する情報理論量とその境界の扱いやすい計算を行った。 これらの導出により、圧縮、一般化、サンプルサイズがネットワークとどのように関連しているかを決定できる。 最後に2つのInformation Bottleneck (dualIB)を提示する。 この新たな情報理論フレームワークは、歪み関数の項を単に切り替えることによって、IBの欠点のいくつかを解決する。 dualIBは、既知のデータ機能を説明して、見当たらない例よりも優れた予測を行うために使用することができる。 基礎となる構造と最適な表現は分析フレームワークを通じて発見され、ディープニューラルネットワークを用いた変動フレームワークが最適化されている。

関連論文リスト

• Statistical Physics of Deep Neural Networks: Initialization toward Optimal Channels [6.144858413112823]
  ディープラーニングでは、ニューラルネットワークは入力データとその表現の間のノイズの多いチャネルとして機能する。 ニューラルネットワークが最適なチャネルに内在する可能性について,よく見過ごされる可能性について検討する。
  論文  参考訳（メタデータ） (2022-12-04T05:13:01Z)
• An Information-Theoretic Framework for Supervised Learning [22.280001450122175]
  後悔とサンプルの複雑さという独自の概念を持つ新しい情報理論フレームワークを提案する。 本稿では、ReLUアクティベーションユニットを用いたディープニューラルネットワークによって生成されたデータから学習する際のサンプルの複雑さについて検討する。 我々は、ランダムな単層ニューラルネットワークの実験的な解析により、理論結果を裏付けることで結論付ける。
  論文  参考訳（メタデータ） (2022-03-01T05:58:28Z)
• The Principles of Deep Learning Theory [19.33681537640272]
  この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。 これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。 トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:00:00Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。