論文の概要: Information Plane Analysis Visualization in Deep Learning via Transfer Entropy

• arxiv url: http://arxiv.org/abs/2404.01364v1
• Date: Mon, 1 Apr 2024 17:34:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 20:56:59.846285
• Title: Information Plane Analysis Visualization in Deep Learning via Transfer Entropy
• Title（参考訳）: 伝達エントロピーを用いた深層学習における情報平面解析の可視化
• Authors: Adrian Moldovan, Angel Cataron, Razvan Andonie,
• Abstract要約: フィードフォワードネットワークでは、Transfer Entropyを使用して、ある層が他の層に与える影響を測定することができる。 相互情報とは対照的に、TEは変数間の時間的関係を捉えることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a feedforward network, Transfer Entropy (TE) can be used to measure the influence that one layer has on another by quantifying the information transfer between them during training. According to the Information Bottleneck principle, a neural model's internal representation should compress the input data as much as possible while still retaining sufficient information about the output. Information Plane analysis is a visualization technique used to understand the trade-off between compression and information preservation in the context of the Information Bottleneck method by plotting the amount of information in the input data against the compressed representation. The claim that there is a causal link between information-theoretic compression and generalization, measured by mutual information, is plausible, but results from different studies are conflicting. In contrast to mutual information, TE can capture temporal relationships between variables. To explore such links, in our novel approach we use TE to quantify information transfer between neural layers and perform Information Plane analysis. We obtained encouraging experimental results, opening the possibility for further investigations.
• Abstract（参考訳）: フィードフォワードネットワークでは、トレーニング中の情報転送を定量化することにより、ある層が他層に与える影響を測定するために、Transfer Entropy(TE)を使用することができる。 Information Bottleneckの原則によると、ニューラルモデルの内部表現は、出力に関する十分な情報を保持しながら、可能な限り入力データを圧縮すべきである。 インフォメーションプレーン解析(Information Plane Analysis)は、インフォメーション・ボトルネック法(Information Bottleneck method)の文脈において、圧縮された表現に対して入力データに含まれる情報の量をプロットすることにより、圧縮と情報保存のトレードオフを理解するための可視化技術である。 相互情報によって測定される情報理論的圧縮と一般化の間に因果関係があるという主張は妥当であるが、異なる研究の結果は矛盾している。 相互情報とは対照的に、TEは変数間の時間的関係を捉えることができる。 このようなリンクを探索するために、我々の新しいアプローチでは、TEを用いて神経層間の情報伝達を定量化し、情報平面解析を行う。 我々は、さらなる調査の可能性を開き、実験結果を奨励した。

関連論文リスト

• Enhancing Neural Network Interpretability Through Conductance-Based Information Plane Analysis [0.0]
  インフォメーションプレーン(Information Plane)は、ニューラルネットワーク内の情報の流れを分析するための概念的フレームワークである。 本稿では,入力特徴に対する感度尺度であるレイヤコンダクタンスを用いて情報平面解析を強化する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-26T23:10:42Z)
• TexShape: Information Theoretic Sentence Embedding for Language Models [5.265661844206274]
  本稿では,情報理論のレンズを用いて,文を最適化された表現に符号化する際の課題について論じる。 我々は、Kulback-Leibler分散のDonsker-Varadhan定義を用いて、相互情報の実証的な推定を行う。 本実験は, 最大目標情報と最小機密情報を, 負圧縮比で保持する上で, 顕著な進歩を示すものである。
  論文  参考訳（メタデータ） (2024-02-05T22:48:28Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• An information-Theoretic Approach to Semi-supervised Transfer Learning [33.89602092349131]
  トランスファーラーニングは、ある"ソースデータセット"から別の"ターゲットデータセット"に情報を伝達することを可能にする ソースとターゲットデータの分布の相違は一般的です。 本稿では,伝達学習の文脈におけるディープニューラルネットワークの性能解析のための新しい情報理論アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-11T17:45:46Z)
• Decomposing neural networks as mappings of correlation functions [57.52754806616669]
  本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
  論文  参考訳（メタデータ） (2022-02-10T09:30:31Z)
• A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
  我々は、探索は相互情報を近似するものとみなすべきであると論じる。 これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。 本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-09-08T18:08:36Z)
• Learning in Feedforward Neural Networks Accelerated by Transfer Entropy [0.0]
  転送エントロピー(te)は当初、事象(時系列)間の統計的コヒーレンスを定量化する情報伝達尺度として導入された。 提案手法は,フィードフォワードニューラルネットワークのノード間の情報伝達を解析するための情報理論的手法である。 本稿では,TEフィードバック接続を用いたバックプロパゲーション型トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-29T19:07:07Z)
• Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
  本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。 エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。 入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
  論文  参考訳（メタデータ） (2020-06-16T15:07:25Z)
• On Information Plane Analyses of Neural Network Classifiers -- A Review [7.804994311050265]
  情報平面に可視化された圧縮は必ずしも情報理論ではないことを示す。 フィードフォワードニューラルネットワークでさえ、データ処理の不平等は、相互情報の見積のために保持する必要はない、と我々は主張する。
  論文  参考訳（メタデータ） (2020-03-21T14:43:45Z)
• Forgetting Outside the Box: Scrubbing Deep Networks of Information Accessible from Input-Output Observations [143.3053365553897]
  本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。 忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。 我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
  論文  参考訳（メタデータ） (2020-03-05T23:17:35Z)
• A Theory of Usable Information Under Computational Constraints [103.5901638681034]
  本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。 我々の基礎はシャノンの情報理論の変分拡張に基づいている。 計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
  論文  参考訳（メタデータ） (2020-02-25T06:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。