Fugu-MT 論文翻訳(概要): Neural Entropy

論文の概要: Neural Entropy

arxiv url: http://arxiv.org/abs/2409.03817v2
Date: Wed, 21 May 2025 15:43:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-22 15:42:56.825084
Title: Neural Entropy
Title（参考訳）: 神経エントロピー
Authors: Akhil Premkumar,
Abstract要約: 拡散モデルは、データがノイズに拡散されたときに消去される情報を復元することにより、ノイズを構造化データに変換する。我々は、拡散によって生じる全エントロピーと関連する神経エントロピーと呼ばれる指標を導入することで、この情報を定量化する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We explore the connection between deep learning and information theory through the paradigm of diffusion models. A diffusion model converts noise into structured data by reinstating, imperfectly, information that is erased when data was diffused to noise. This information is stored in a neural network during training. We quantify this information by introducing a measure called neural entropy, which is related to the total entropy produced by diffusion. Neural entropy is a function of not just the data distribution, but also the diffusive process itself. Measurements of neural entropy on a few simple image diffusion models reveal that they are extremely efficient at compressing large ensembles of structured data.
Abstract（参考訳）: 拡散モデルのパラダイムを通して,深層学習と情報理論の関連性を探究する。拡散モデルは、データがノイズに拡散されたときに消去される情報を復元することにより、ノイズを構造化データに変換する。この情報は、トレーニング中にニューラルネットワークに格納される。我々は、拡散によって生じる全エントロピーと関連する神経エントロピーと呼ばれる指標を導入することで、この情報を定量化する。ニューラルエントロピーは、データ分布だけでなく、拡散過程自体の関数である。いくつかの単純な画像拡散モデル上でのニューラルエントロピーの測定は、構造化されたデータの大規模なアンサンブルを圧縮するのに非常に効率的であることを示している。

関連論文リスト

Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
論文参考訳（メタデータ） (2024-09-13T17:54:41Z)
Speed-accuracy relations for the diffusion models: Wisdom from nonequilibrium thermodynamics and optimal transport [0.0]
拡散モデルと呼ばれる生成モデルと非平衡熱力学の関連について論じる。異なるノイズスケジュールと異なるデータを持つ拡散モデルの速度-精度関係の妥当性を数値的に説明する。また,非保存力による不正確なデータ生成と実世界の画像データセットからのデータ生成への適用性を示す。
論文参考訳（メタデータ） (2024-07-05T13:35:14Z)
Predicting Cascading Failures with a Hyperparametric Diffusion Model [66.89499978864741]
拡散モデルのレンズによる電力グリッドのカスケード故障について検討する。我々のモデルは、バイラル拡散原理と物理に基づく概念を統合する。この拡散モデルはカスケード故障の痕跡から学習可能であることを示す。
論文参考訳（メタデータ） (2024-06-12T02:34:24Z)
Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文参考訳（メタデータ） (2023-12-04T01:32:42Z)
Information-Theoretic GAN Compression with Variational Energy-based Model [36.77535324130402]
本稿では,情報理論に基づく知識蒸留手法を提案する。提案アルゴリズムは,生成逆数ネットワークのモデル圧縮において,一貫した性能を実現する。
論文参考訳（メタデータ） (2023-03-28T15:32:21Z)
Towards quantifying information flows: relative entropy in deep neural networks and the renormalization group [0.0]
相対エントロピーやクルバック・リーバーの分岐を明示的に計算することで,情報の流れを定量化する。ニューラルネットワークの場合、その振る舞いは機械学習における様々な情報手法に影響を及ぼす可能性がある。
論文参考訳（メタデータ） (2021-07-14T18:00:01Z)
Physics perception in sloshing scenes with guaranteed thermodynamic consistency [0.0]
自由表面の測定からスロッシング液の完全な状態を知るための戦略を提案する。我々のアプローチは、リカレントニューラルネットワーク(RNN)に基づいて、低次多様体に利用可能な限られた情報を投影する。
論文参考訳（メタデータ） (2021-06-24T20:13:56Z)
Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文参考訳（メタデータ） (2021-06-03T00:02:05Z)
Deep learning of thermodynamics-aware reduced-order models from data [0.08699280339422537]
大規模離散化物理系の関連する潜伏変数を学習するアルゴリズムを提案する。次に、熱力学的に一貫性のあるディープニューラルネットワークを用いて、その時間進化を予測する。
論文参考訳（メタデータ） (2020-07-03T08:49:01Z)
Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文参考訳（メタデータ） (2020-06-16T18:45:20Z)
Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
論文参考訳（メタデータ） (2020-06-16T15:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。