論文の概要: Neural Entropy

• arxiv url: http://arxiv.org/abs/2409.03817v1
• Date: Thu, 5 Sep 2024 18:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 17:40:07.747540
• Title: Neural Entropy
• Title（参考訳）: 神経エントロピー
• Authors: Akhil Premkumar,
• Abstract要約: 拡散モデルのパラダイムを用いて,深層学習と情報理論の関連性を検討する。 我々は、拡散過程を逆転させるために必要な情報の量を特徴付け、ニューラルネットワークがこの情報を格納し、生成段階においてマクスウェルの悪魔を思い起こさせるように動作することを示す。 この概念図は、最適制御、熱力学、情報理論、最適輸送の要素をブレンドし、ニューラルネットワークを理解するためのテストベンチとして拡散モデルを適用する可能性を高める。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We examine the connection between deep learning and information theory through the paradigm of diffusion models. Using well-established principles from non-equilibrium thermodynamics we can characterize the amount of information required to reverse a diffusive process. Neural networks store this information and operate in a manner reminiscent of Maxwell's demon during the generative stage. We illustrate this cycle using a novel diffusion scheme we call the entropy matching model, wherein the information conveyed to the network during training exactly corresponds to the entropy that must be negated during reversal. We demonstrate that this entropy can be used to analyze the encoding efficiency and storage capacity of the network. This conceptual picture blends elements of stochastic optimal control, thermodynamics, information theory, and optimal transport, and raises the prospect of applying diffusion models as a test bench to understand neural networks.
• Abstract（参考訳）: 拡散モデルのパラダイムを用いて,深層学習と情報理論の関連性を検討する。 非平衡熱力学から確立された原理を用いて、拡散過程を逆転させるために必要な情報の量を特徴付けることができる。 ニューラルネットワークはこの情報を格納し、生成段階でマクスウェルの悪魔を思い起こさせるように操作する。 我々は,このサイクルを,エントロピーマッチングモデル(entropy matching model)と呼ぶ新しい拡散スキームを用いて説明し,トレーニング中にネットワークに伝達された情報は,逆転時に無効にしなければならないエントロピーと正確に一致する。 このエントロピーを用いて、ネットワークの符号化効率と記憶容量を解析できることを実証する。 この概念図は、確率的最適制御、熱力学、情報理論、最適輸送の要素をブレンドし、ニューラルネットワークを理解するためのテストベンチとして拡散モデルを適用する可能性を高める。

関連論文リスト

• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Predicting Cascading Failures with a Hyperparametric Diffusion Model [66.89499978864741]
  拡散モデルのレンズによる電力グリッドのカスケード故障について検討する。 我々のモデルは、バイラル拡散原理と物理に基づく概念を統合する。 この拡散モデルはカスケード故障の痕跡から学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T02:34:24Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Information-Theoretic GAN Compression with Variational Energy-based Model [36.77535324130402]
  本稿では,情報理論に基づく知識蒸留手法を提案する。 提案アルゴリズムは,生成逆数ネットワークのモデル圧縮において,一貫した性能を実現する。
  論文  参考訳（メタデータ） (2023-03-28T15:32:21Z)
• Towards quantifying information flows: relative entropy in deep neural networks and the renormalization group [0.0]
  相対エントロピーやクルバック・リーバーの分岐を明示的に計算することで,情報の流れを定量化する。 ニューラルネットワークの場合、その振る舞いは機械学習における様々な情報手法に影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2021-07-14T18:00:01Z)
• Physics perception in sloshing scenes with guaranteed thermodynamic consistency [0.0]
  自由表面の測定からスロッシング液の完全な状態を知るための戦略を提案する。 我々のアプローチは、リカレントニューラルネットワーク(RNN)に基づいて、低次多様体に利用可能な限られた情報を投影する。
  論文  参考訳（メタデータ） (2021-06-24T20:13:56Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Deep learning of thermodynamics-aware reduced-order models from data [0.08699280339422537]
  大規模離散化物理系の関連する潜伏変数を学習するアルゴリズムを提案する。 次に、熱力学的に一貫性のあるディープニューラルネットワークを用いて、その時間進化を予測する。
  論文  参考訳（メタデータ） (2020-07-03T08:49:01Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
  本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。 エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。 入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
  論文  参考訳（メタデータ） (2020-06-16T15:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。