論文の概要: On the Information Plane of Autoencoders

• arxiv url: http://arxiv.org/abs/2005.07783v2
• Date: Sat, 3 Oct 2020 18:43:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 22:53:28.747062
• Title: On the Information Plane of Autoencoders
• Title（参考訳）: オートエンコーダの情報平面について
• Authors: Nicol\'as I. Tapia, Pablo A. Est\'evez
• Abstract要約: Information Plane (IP) はディープラーニングネットワークに隠された層を解析するために提案された。 本研究では,自動エンコーダのIPに関する理論的収束を導出する。 自動エンコーダの理論的IPは、ニューラルネットワークのMIを推定する新しい手法を検証するベンチマークとして使用できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The training dynamics of hidden layers in deep learning are poorly understood in theory. Recently, the Information Plane (IP) was proposed to analyze them, which is based on the information-theoretic concept of mutual information (MI). The Information Bottleneck (IB) theory predicts that layers maximize relevant information and compress irrelevant information. Due to the limitations in MI estimation from samples, there is an ongoing debate about the properties of the IP for the supervised learning case. In this work, we derive a theoretical convergence for the IP of autoencoders. The theory predicts that ideal autoencoders with a large bottleneck layer size do not compress input information, whereas a small size causes compression only in the encoder layers. For the experiments, we use a Gram-matrix based MI estimator recently proposed in the literature. We propose a new rule to adjust its parameters that compensates scale and dimensionality effects. Using our proposed rule, we obtain experimental IPs closer to the theory. Our theoretical IP for autoencoders could be used as a benchmark to validate new methods to estimate MI in neural networks. In this way, experimental limitations could be recognized and corrected, helping with the ongoing debate on the supervised learning case.
• Abstract（参考訳）: 深層学習における隠れ層のトレーニング力学は理論上はあまり理解されていない。 近年,情報理論に基づく相互情報(MI)に基づく情報平面(IP)が提案されている。 Information Bottleneck (IB) 理論は、レイヤが関連する情報を最大化し、無関係な情報を圧縮することを予測している。 サンプルからのMI推定に制限があるため、教師付き学習ケースにおけるIPの特性に関する議論が進行中である。 本研究では,自動エンコーダのIPに関する理論的収束を導出する。 この理論は、大きなボトルネック層を持つ理想的なオートエンコーダは入力情報を圧縮しないが、小さなサイズはエンコーダ層にのみ圧縮を引き起こすと予測している。 実験では,最近文献に提案されているグラム行列に基づくmi推定器を用いた。 スケールと次元効果を補償するパラメータを調整するための新しいルールを提案する。 提案法則を用いて理論に近い実験的なIPを得る。 自動エンコーダの理論的IPは、ニューラルネットワークのMIを推定する新しい手法を検証するベンチマークとして使用できる。 このように、実験的な制限が認識され修正され、教師付き学習ケースに関する議論が進行するのに役立つ。

関連論文リスト

• Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
  我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。 我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。 パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
  論文  参考訳（メタデータ） (2024-06-06T13:15:37Z)
• Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
  本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。 エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。 我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
  論文  参考訳（メタデータ） (2024-04-30T06:48:56Z)
• Dynamic Encoding and Decoding of Information for Split Learning in Mobile-Edge Computing: Leveraging Information Bottleneck Theory [1.1151919978983582]
  Split Learning(スプリットラーニング)は、MLモデルを2つの部分(エンコーダとデコーダ)に分割する、プライバシ保護の分散学習パラダイムである。 モバイルエッジコンピューティングでは、エンコーダがユーザ機器(UE)に、デコーダがエッジネットワークに、分割学習によってネットワーク機能を訓練することができる。 本稿では,送信リソース消費の動的バランスと,共有潜在表現の情報化を両立させるためのフレームワークとトレーニング機構を提案する。
  論文  参考訳（メタデータ） (2023-09-06T07:04:37Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• An Introduction to Neural Data Compression [30.62305356319998]
  ニューラル圧縮(Neural compression)は、ニューラルネットワークやその他の機械学習手法をデータ圧縮に適用する手法である。 この導入はエントロピー符号化やレート歪曲理論といった基本的なコーディングトピックをレビューすることによって、必要な背景を埋めることを目指している。
  論文  参考訳（メタデータ） (2022-02-14T08:01:00Z)
• Information Flow in Deep Neural Networks [0.6922389632860545]
  ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。 深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。 この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2022-02-10T23:32:26Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• Information Bottleneck: Exact Analysis of (Quantized) Neural Networks [16.199954215341833]
  深いニューラルネットワークを分析する手段として、情報ボトルネック(IB)の原則が提案されている。 トレーニング中に異なるフィッティングと圧縮フェーズが報告されている。 本研究は,MI 計算において,初期 IB は binning のアーティファクトではないことを示す。
  論文  参考訳（メタデータ） (2021-06-24T11:13:08Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。