論文の概要: KNIFE: Kernelized-Neural Differential Entropy Estimation

• arxiv url: http://arxiv.org/abs/2202.06618v1
• Date: Mon, 14 Feb 2022 11:13:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 01:56:49.830805
• Title: KNIFE: Kernelized-Neural Differential Entropy Estimation
• Title（参考訳）: KNIFE:カーネル化ニューラル微分エントロピー推定
• Authors: Georg Pichler and Pierre Colombo and Malik Boudiaf and Gunther Koliander and Pablo Piantanida
• Abstract要約: 相互情報(MI)はニューラルネットワークをトレーニングするための損失正規化器として広く利用されている。 ディファレンシャルエントロピー(DE)は、ニューラルネットワークトレーニングにおいて広く使われていない。 我々は、完全にパラメータ化され、微分可能なカーネルベースのDEC推定器であるKNIFEを紹介する。
• 参考スコア（独自算出の注目度）: 28.79153845135164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mutual Information (MI) has been widely used as a loss regularizer for training neural networks. This has been particularly effective when learn disentangled or compressed representations of high dimensional data. However, differential entropy (DE), another fundamental measure of information, has not found widespread use in neural network training. Although DE offers a potentially wider range of applications than MI, off-the-shelf DE estimators are either non differentiable, computationally intractable or fail to adapt to changes in the underlying distribution. These drawbacks prevent them from being used as regularizers in neural networks training. To address shortcomings in previously proposed estimators for DE, here we introduce KNIFE, a fully parameterized, differentiable kernel-based estimator of DE. The flexibility of our approach also allows us to construct KNIFE-based estimators for conditional (on either discrete or continuous variables) DE, as well as MI. We empirically validate our method on high-dimensional synthetic data and further apply it to guide the training of neural networks for real-world tasks. Our experiments on a large variety of tasks, including visual domain adaptation, textual fair classification, and textual fine-tuning demonstrate the effectiveness of KNIFE-based estimation. Code can be found at https://github.com/g-pichler/knife.
• Abstract（参考訳）: 相互情報(MI)はニューラルネットワークをトレーニングするための損失正規化器として広く利用されている。 これは、高次元データの絡み合いや圧縮表現を学ぶ際に特に効果的である。 しかし、別の基本的な情報尺度である差分エントロピー(DE)は、ニューラルネットワークトレーニングにおいて広く使われていない。 DE は MI よりも広い範囲のアプリケーションを提供しているが、オフザシェルフ DE 推定器は非微分可能か、計算的に抽出可能か、あるいは基礎となる分布の変化に適応できない。 これらの欠点は、ニューラルネットワークトレーニングのレギュラライザとしての使用を妨げている。 先程提案したDEM推定器の欠点を解決するために,完全にパラメータ化され,微分可能なDDEのカーネルベース推定器であるKNIFEを紹介する。 このアプローチの柔軟性により、MIと同様に条件付き(離散変数または連続変数のどちらか)のKNIFEベースの推定器を構築することもできる。 本手法を高次元合成データ上で実証的に検証し,実世界の課題に対するニューラルネットワークの訓練の指導に応用する。 視覚領域適応,テキストフェア分類,テキストファインチューニングなど,さまざまなタスクに関する実験により,KNIFEに基づく評価の有効性が示された。 コードはhttps://github.com/g-pichler/knife.comにある。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Single Model Uncertainty Estimation via Stochastic Data Centering [39.71621297447397]
  私たちは、ディープニューラルネットワークの不確実性を見積もることに興味があります。 我々は、一定のバイアスによってシフトしたデータセットに基づいてトレーニングされた、同じ重み付きニューラルネットワークのアンサンブルが、わずかに一貫性のないトレーニングモデルを引き起こすという驚くべき新しい発見を提示する。 我々は、$Delta-$UQの不確実性推定が、様々なベンチマークにおける現在の多くの手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-14T23:54:54Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• A Theoretical-Empirical Approach to Estimating Sample Complexity of DNNs [11.152761263415046]
  本稿では,深層ニューラルネットワーク(DNN)のトレーニングデータ量と一般化誤差のスケールについて考察する。 我々は、ディープネットワークに保持され、到達不能な容量尺度に依存しない一般化誤差の推定を導出する。
  論文  参考訳（メタデータ） (2021-05-05T05:14:08Z)
• Sketching Curvature for Efficient Out-of-Distribution Detection for Deep Neural Networks [32.629801680158685]
  Sketching Curvature of OoD Detection (SCOD)は、訓練されたディープニューラルネットワークにタスク関連不確実性推定を装備するためのアーキテクチャに依存しないフレームワークである。 SCODは,既存のベースラインと比較して計算負担の少ないOoD検出性能の同等あるいは優れたOoD検出性能を達成できることを実証する。
  論文  参考訳（メタデータ） (2021-02-24T21:34:40Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。