論文の概要: Measuring Information Transfer in Neural Networks

• arxiv url: http://arxiv.org/abs/2009.07624v2
• Date: Thu, 3 Dec 2020 07:16:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 23:09:23.084087
• Title: Measuring Information Transfer in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける情報伝達の測定
• Authors: Xiao Zhang, Xingjian Li, Dejing Dou, Ji Wu
• Abstract要約: ニューラルネットワークモデルにおける情報内容の定量化は、基本的にモデルのKolmogorov複雑性を推定するものだ。 本稿では,事前符号化に基づくニューラルネットワークモデルにおける一般化可能な情報の尺度を提案する。 L_IT$は、一般化可能な情報と一貫して相関し、モデルやデータセットのパターンや"知識"の尺度として使用できることを示す。
• 参考スコア（独自算出の注目度）: 46.37969746096677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantifying the information content in a neural network model is essentially estimating the model's Kolmogorov complexity. Recent success of prequential coding on neural networks points to a promising path of deriving an efficient description length of a model. We propose a practical measure of the generalizable information in a neural network model based on prequential coding, which we term Information Transfer ($L_{IT}$). Theoretically, $L_{IT}$ is an estimation of the generalizable part of a model's information content. In experiments, we show that $L_{IT}$ is consistently correlated with generalizable information and can be used as a measure of patterns or "knowledge" in a model or a dataset. Consequently, $L_{IT}$ can serve as a useful analysis tool in deep learning. In this paper, we apply $L_{IT}$ to compare and dissect information in datasets, evaluate representation models in transfer learning, and analyze catastrophic forgetting and continual learning algorithms. $L_{IT}$ provides an information perspective which helps us discover new insights into neural network learning.
• Abstract（参考訳）: ニューラルネットワークモデルにおける情報内容の定量化は、本質的にモデルのコルモゴロフ複雑性を推定する。 最近のニューラルネットワークでの事前エンコーディングの成功は、モデルの効率的な記述長を導出する有望な経路を示している。 本稿では,情報転送(l_{it}$)と呼ぶ前空間符号化に基づくニューラルネットワークモデルにおける一般化可能な情報の実用的尺度を提案する。 理論的には、$L_{IT}$はモデルの情報内容の一般化可能な部分を推定する。 実験では、$L_{IT}$は一般化可能な情報と一貫して相関し、モデルやデータセットのパターンや「知識」の尺度として使用できることを示す。 したがって、$L_{IT}$はディープラーニングの有用な分析ツールとして機能する。 本稿では,データセットにおける情報の比較と識別,転送学習における表現モデルの評価,破滅的忘れと連続学習アルゴリズムの解析に$L_{IT}$を適用する。 L_{IT}$は、ニューラルネットワーク学習に関する新たな洞察を見つけるのに役立つ情報視点を提供する。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Iterative self-transfer learning: A general methodology for response time-history prediction based on small dataset [0.0]
  本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。 提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T18:48:04Z)
• Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO Regularization [15.517787031620864]
  LASSOの領域は、ファッショナブルで強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張される。 LASSO推定器はニューラルネットワークを安定的に再構築し,サンプル数が対数的にスケールする場合に$mathcalSstar$を識別可能であることを示す。 我々の理論は、2層ReLUニューラルネットワークのための拡張Restricted Isometry Property (RIP)ベースの分析フレームワークにある。
  論文  参考訳（メタデータ） (2023-05-07T13:05:09Z)
• An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
  大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。 以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
  論文  参考訳（メタデータ） (2022-12-02T18:46:41Z)
• Interpretability of an Interaction Network for identifying $H \rightarrow b\bar{b}$ jets [4.553120911976256]
  近年、ディープニューラルネットワークに基づくAIモデルは、これらのアプリケーションの多くで人気が高まっている。 我々は、高揚した$Hto bbarb$ jetを識別するために設計されたインタラクションネットワーク(IN)モデルを調べることで、AIモデルの解釈可能性を検討する。 さらに、INモデル内の隠れレイヤの活動を、ニューラルアクティベーションパターン(NAP)ダイアグラムとして記述する。
  論文  参考訳（メタデータ） (2022-11-23T08:38:52Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Mutual information estimation for graph convolutional neural networks [0.0]
  本稿では,学習中にネットワークの内部表現を追跡するアーキテクチャに依存しない手法を提案する。 グラフベースアーキテクチャで導入された帰納バイアスが、完全に接続されたニューラルネットワークに対して相互情報平面をどのように変化させるかを比較する。
  論文  参考訳（メタデータ） (2022-03-31T08:30:04Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• A Theory of Usable Information Under Computational Constraints [103.5901638681034]
  本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。 我々の基礎はシャノンの情報理論の変分拡張に基づいている。 計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
  論文  参考訳（メタデータ） (2020-02-25T06:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。