論文の概要: On Information Plane Analyses of Neural Network Classifiers -- A Review
- arxiv url: http://arxiv.org/abs/2003.09671v3
- Date: Thu, 10 Jun 2021 15:06:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 10:15:10.950616
- Title: On Information Plane Analyses of Neural Network Classifiers -- A Review
- Title（参考訳）: ニューラルネットワーク分類器の情報平面解析について -- 概観
- Authors: Bernhard C. Geiger
- Abstract要約: 情報平面に可視化された圧縮は必ずしも情報理論ではないことを示す。
フィードフォワードニューラルネットワークでさえ、データ処理の不平等は、相互情報の見積のために保持する必要はない、と我々は主張する。
- 参考スコア（独自算出の注目度）: 7.804994311050265
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We review the current literature concerned with information plane analyses of
neural network classifiers. While the underlying information bottleneck theory
and the claim that information-theoretic compression is causally linked to
generalization are plausible, empirical evidence was found to be both
supporting and conflicting. We review this evidence together with a detailed
analysis of how the respective information quantities were estimated. Our
survey suggests that compression visualized in information planes is not
necessarily information-theoretic, but is rather often compatible with
geometric compression of the latent representations. This insight gives the
information plane a renewed justification.
Aside from this, we shed light on the problem of estimating mutual
information in deterministic neural networks and its consequences.
Specifically, we argue that even in feed-forward neural networks the data
processing inequality need not hold for estimates of mutual information.
Similarly, while a fitting phase, in which the mutual information between the
latent representation and the target increases, is necessary (but not
sufficient) for good classification performance, depending on the specifics of
mutual information estimation such a fitting phase need not be visible in the
information plane.
- Abstract（参考訳）: 本稿では,ニューラルネットワーク分類器の情報平面解析に関する文献を概説する。
情報ボトルネック理論と情報理論的圧縮が一般化と因果関係にあるという主張は実証可能であるが、実証的な証拠は支持と矛盾の両方であることがわかった。
我々は,これらの証拠を,各情報量の推定方法に関する詳細な分析とともに検討する。
情報平面で可視化された圧縮は必ずしも情報理論的なものではなく、むしろ潜在表現の幾何学的圧縮と相性が強い。
この洞察は情報プレーンに新たな正当化を与える。
これとは別に,決定論的ニューラルネットワークにおける相互情報推定の問題とその影響について考察した。
具体的には、フィードフォワードニューラルネットワークにおいても、データ処理の不平等は相互情報の推定に留まらない、と主張する。
同様に、潜在表現と目標との相互情報を増加させる嵌合フェーズは、情報平面において、当該嵌合フェーズが可視される必要のない相互情報推定の仕様に応じて、良好な分類性能のために必要(ただし不十分)である。
関連論文リスト
- Information Plane Analysis Visualization in Deep Learning via Transfer Entropy [0.0]
フィードフォワードネットワークでは、Transfer Entropyを使用して、ある層が他の層に与える影響を測定することができる。
相互情報とは対照的に、TEは変数間の時間的関係を捉えることができる。
論文 参考訳（メタデータ） (2024-04-01T17:34:18Z) - TexShape: Information Theoretic Sentence Embedding for Language Models [5.265661844206274]
本稿では,情報理論のレンズを用いて,文を最適化された表現に符号化する際の課題について論じる。
我々は、Kulback-Leibler分散のDonsker-Varadhan定義を用いて、相互情報の実証的な推定を行う。
本実験は, 最大目標情報と最小機密情報を, 負圧縮比で保持する上で, 顕著な進歩を示すものである。
論文 参考訳（メタデータ） (2024-02-05T22:48:28Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。
IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。
OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
論文 参考訳（メタデータ） (2022-05-30T15:40:33Z) - Mutual information estimation for graph convolutional neural networks [0.0]
本稿では,学習中にネットワークの内部表現を追跡するアーキテクチャに依存しない手法を提案する。
グラフベースアーキテクチャで導入された帰納バイアスが、完全に接続されたニューラルネットワークに対して相互情報平面をどのように変化させるかを比較する。
論文 参考訳（メタデータ） (2022-03-31T08:30:04Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳（メタデータ） (2022-02-10T09:30:31Z) - A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
我々は、探索は相互情報を近似するものとみなすべきであると論じる。
これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。
本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-09-08T18:08:36Z) - Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。
我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。
我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
論文 参考訳（メタデータ） (2021-05-07T20:23:01Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳（メタデータ） (2021-02-15T18:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。