論文の概要: Neural Entropy

• arxiv url: http://arxiv.org/abs/2409.03817v1
• Date: Thu, 5 Sep 2024 18:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-09 17:40:07.747540
• Title: Neural Entropy
• Title（参考訳）: 神経エントロピー
• Authors: Akhil Premkumar,
• Abstract要約: 拡散モデルのパラダイムを用いて,深層学習と情報理論の関連性を検討する。 我々は、拡散過程を逆転させるために必要な情報の量を特徴付け、ニューラルネットワークがこの情報を格納し、生成段階においてマクスウェルの悪魔を思い起こさせるように動作することを示す。 この概念図は、最適制御、熱力学、情報理論、最適輸送の要素をブレンドし、ニューラルネットワークを理解するためのテストベンチとして拡散モデルを適用する可能性を高める。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We examine the connection between deep learning and information theory through the paradigm of diffusion models. Using well-established principles from non-equilibrium thermodynamics we can characterize the amount of information required to reverse a diffusive process. Neural networks store this information and operate in a manner reminiscent of Maxwell's demon during the generative stage. We illustrate this cycle using a novel diffusion scheme we call the entropy matching model, wherein the information conveyed to the network during training exactly corresponds to the entropy that must be negated during reversal. We demonstrate that this entropy can be used to analyze the encoding efficiency and storage capacity of the network. This conceptual picture blends elements of stochastic optimal control, thermodynamics, information theory, and optimal transport, and raises the prospect of applying diffusion models as a test bench to understand neural networks.
• Abstract（参考訳）: 拡散モデルのパラダイムを用いて,深層学習と情報理論の関連性を検討する。 非平衡熱力学から確立された原理を用いて、拡散過程を逆転させるために必要な情報の量を特徴付けることができる。 ニューラルネットワークはこの情報を格納し、生成段階でマクスウェルの悪魔を思い起こさせるように操作する。 我々は,このサイクルを,エントロピーマッチングモデル(entropy matching model)と呼ぶ新しい拡散スキームを用いて説明し,トレーニング中にネットワークに伝達された情報は,逆転時に無効にしなければならないエントロピーと正確に一致する。 このエントロピーを用いて、ネットワークの符号化効率と記憶容量を解析できることを実証する。 この概念図は、確率的最適制御、熱力学、情報理論、最適輸送の要素をブレンドし、ニューラルネットワークを理解するためのテストベンチとして拡散モデルを適用する可能性を高める。

関連論文リスト

• Resolving Memorization in Empirical Diffusion Model for Manifold Data in High-Dimensional Spaces [5.716752583983991]
  データ分布がn個の点からなる場合、経験的拡散モデルは既存のデータ点を再現する傾向がある。 本研究は,経験的拡散シミュレーションの最後に慣性更新を適用することで,記憶の問題を解くことができることを示す。 このモデルから得られたサンプルの分布は、次元$d$の$C2$多様体上の真のデータ分布を、位数$O(n-frac2d+4)$のWasserstein-1距離内で近似することを示した。
  論文  参考訳（メタデータ） (2025-05-05T09:40:41Z)
• Data augmentation using diffusion models to enhance inverse Ising inference [2.654300333196867]
  拡散モデルは、小さなデータセットを増大させることでパラメータ推論を向上させることができることを示す。 本研究は,物理問題におけるデータ拡張に拡散モデルを用いるための概念実証として機能する。
  論文  参考訳（メタデータ） (2025-03-13T08:29:17Z)
• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Speed-accuracy relations for the diffusion models: Wisdom from nonequilibrium thermodynamics and optimal transport [0.0]
  拡散モデルと呼ばれる生成モデルと非平衡熱力学の関連について論じる。 異なるノイズスケジュールと異なるデータを持つ拡散モデルの速度-精度関係の妥当性を数値的に説明する。 また,非保存力による不正確なデータ生成と実世界の画像データセットからのデータ生成への適用性を示す。
  論文  参考訳（メタデータ） (2024-07-05T13:35:14Z)
• Predicting Cascading Failures with a Hyperparametric Diffusion Model [66.89499978864741]
  拡散モデルのレンズによる電力グリッドのカスケード故障について検討する。 我々のモデルは、バイラル拡散原理と物理に基づく概念を統合する。 この拡散モデルはカスケード故障の痕跡から学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T02:34:24Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Lecture Notes in Probabilistic Diffusion Models [0.5361320134021585]
  拡散モデルは非平衡熱力学に基づいてゆるやかにモデル化される。 拡散モデルは、元のデータサンプルが属するデータ多様体を学習する。 拡散モデルは、変分オートエンコーダやフローモデルとは異なり、元のデータと同じ次元の潜伏変数を持つ。
  論文  参考訳（メタデータ） (2023-12-16T09:36:54Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Dynamic Tensor Decomposition via Neural Diffusion-Reaction Processes [24.723536390322582]
  テンソル分解は マルチウェイデータ解析の 重要なツールです 動的EMbedIngs fOr Dynamic Algorithm dEcomposition (DEMOTE)を提案する。 シミュレーション研究と実世界の応用の両方において,本手法の利点を示す。
  論文  参考訳（メタデータ） (2023-10-30T15:49:45Z)
• Information-Theoretic GAN Compression with Variational Energy-based Model [36.77535324130402]
  本稿では,情報理論に基づく知識蒸留手法を提案する。 提案アルゴリズムは,生成逆数ネットワークのモデル圧縮において,一貫した性能を実現する。
  論文  参考訳（メタデータ） (2023-03-28T15:32:21Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Towards quantifying information flows: relative entropy in deep neural networks and the renormalization group [0.0]
  相対エントロピーやクルバック・リーバーの分岐を明示的に計算することで,情報の流れを定量化する。 ニューラルネットワークの場合、その振る舞いは機械学習における様々な情報手法に影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2021-07-14T18:00:01Z)
• Physics perception in sloshing scenes with guaranteed thermodynamic consistency [0.0]
  自由表面の測定からスロッシング液の完全な状態を知るための戦略を提案する。 我々のアプローチは、リカレントニューラルネットワーク(RNN)に基づいて、低次多様体に利用可能な限られた情報を投影する。
  論文  参考訳（メタデータ） (2021-06-24T20:13:56Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Deep learning of thermodynamics-aware reduced-order models from data [0.08699280339422537]
  大規模離散化物理系の関連する潜伏変数を学習するアルゴリズムを提案する。 次に、熱力学的に一貫性のあるディープニューラルネットワークを用いて、その時間進化を予測する。
  論文  参考訳（メタデータ） (2020-07-03T08:49:01Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
  本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。 エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。 入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
  論文  参考訳（メタデータ） (2020-06-16T15:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。