論文の概要: A Neural Network Algorithm for KL Divergence Estimation with Quantitative Error Bounds

• arxiv url: http://arxiv.org/abs/2510.05386v1
• Date: Mon, 06 Oct 2025 21:25:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.992646
• Title: A Neural Network Algorithm for KL Divergence Estimation with Quantitative Error Bounds
• Title（参考訳）: 定量的誤差境界を用いたKL分散推定のためのニューラルネットワークアルゴリズム
• Authors: Mikil Foss, Andrew Lamperski,
• Abstract要約: Kullback-Leibler (KL) の確率変数間のばらつきを推定することは、統計解析の基本的な問題である。 隠れ重みとバイアスをランダム化した浅層ニューラルネットワークを用いたKL分散推定アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating the Kullback-Leibler (KL) divergence between random variables is a fundamental problem in statistical analysis. For continuous random variables, traditional information-theoretic estimators scale poorly with dimension and/or sample size. To mitigate this challenge, a variety of methods have been proposed to estimate KL divergences and related quantities, such as mutual information, using neural networks. The existing theoretical analyses show that neural network parameters achieving low error exist. However, since they rely on non-constructive neural network approximation theorems, they do not guarantee that the existing algorithms actually achieve low error. In this paper, we propose a KL divergence estimation algorithm using a shallow neural network with randomized hidden weights and biases (i.e. a random feature method). We show that with high probability, the algorithm achieves a KL divergence estimation error of $O(m^{-1/2}+T^{-1/3})$, where $m$ is the number of neurons and $T$ is both the number of steps of the algorithm and the number of samples.
• Abstract（参考訳）: Kullback-Leibler (KL) の確率変数間のばらつきを推定することは、統計解析の基本的な問題である。 連続確率変数の場合、従来の情報理論推定器は次元やサンプルサイズに劣る。 この課題を軽減するために、ニューラルネットワークを用いて、KLの発散と相互情報などの関連する量を推定する様々な手法が提案されている。 既存の理論的分析は、低誤差を達成するニューラルネットワークパラメータが存在することを示している。 しかし、それらは非構成的ニューラルネットワーク近似定理に依存しているため、既存のアルゴリズムが実際に低い誤差を達成することを保証していない。 本稿では,ランダムに隠された重みとバイアス(ランダム特徴法)を持つ浅層ニューラルネットワークを用いたKL分散推定アルゴリズムを提案する。 高確率で、アルゴリズムはKL分散推定誤差を$O(m^{-1/2}+T^{-1/3})$で達成し、$m$はニューロンの数、$T$はアルゴリズムのステップ数とサンプル数の両方であることを示す。

関連論文リスト

• Dimension-independent learning rates for high-dimensional classification problems [53.622581586464634]
  各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。 次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
  論文  参考訳（メタデータ） (2024-09-26T16:02:13Z)
• Matching the Statistical Query Lower Bound for $k$-Sparse Parity Problems with Sign Stochastic Gradient Descent [83.85536329832722]
  我々は、2層完全連結ニューラルネットワーク上での符号勾配降下(SGD)による$k$スパースパリティ問題を解く。 このアプローチは、$d$次元ハイパーキューブ上での$k$スパースパリティ問題を効率的に解くことができることを示す。 次に、符号SGDを持つトレーニングニューラルネットワークが、この優れたネットワークを効果的に近似し、小さな統計的誤差で$k$-parity問題を解く方法を示す。
  論文  参考訳（メタデータ） (2024-04-18T17:57:53Z)
• Jensen-Shannon Divergence Based Novel Loss Functions for Bayesian Neural Networks [2.4554686192257424]
  我々は、一般化されたJensen-Shannon(JS)の発散に新たな修正を加えて、BNNの新たな損失関数を定式化する。 JSの発散に基づく変分推論は難解であり,従ってこれらの損失を定式化するために制約付き最適化フレームワークが用いられている。 複数の回帰および分類データセットに関する理論的解析および実証実験により、提案された損失はKLの発散に基づく損失よりも良く、特にデータセットがノイズや偏りがある場合の方が優れていることが示唆された。
  論文  参考訳（メタデータ） (2022-09-23T01:47:09Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Neural Estimation of Statistical Divergences [24.78742908726579]
  ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法 特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。 NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:42:44Z)
• Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks [19.216784367141972]
  本研究では,浅層(単層)ReLUニューラルネットワークを用いた雑音データから未知の関数を推定する問題について検討する。 我々は、データ生成関数がラドン領域における二階有界変動関数の空間に属するとき、これらのニューラルネットワーク推定器の性能を定量化する。
  論文  参考訳（メタデータ） (2021-09-18T05:56:06Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
  変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。 その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-22T21:28:00Z)
• Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
  量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。 我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。 我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-10T06:11:55Z)
• Neural Thompson Sampling [94.82847209157494]
  本稿では,ニューラルトンプソンサンプリング(Neural Thompson Smpling)と呼ばれる新しいアルゴリズムを提案する。 我々のアルゴリズムの中核は報酬の新たな後部分布であり、その平均はニューラルネットワーク近似器であり、その分散は対応するニューラルネットワークのニューラル・タンジェントな特徴に基づいて構築されている。
  論文  参考訳（メタデータ） (2020-10-02T07:44:09Z)
• CRAUM-Net: Contextual Recursive Attention with Uncertainty Modeling for Salient Object Detection [0.0]
  マルチスケールのコンテキストアグリゲーション、高度な注意機構、SOD性能向上のための不確実性認識モジュールを統合した新しいフレームワークを提案する。 我々の適応的クロススケールコンテキストモジュールは、再帰的チャネル空間的注意と畳み込みブロック注意を利用して、機能を複数のレベルから効果的に融合する。 ネットワークを堅牢にトレーニングするために,境界感応性とトポロジカル保存損失関数(Boundary IoU,Focal Tversky,Topological Saliency Los)を組み合わせて,ネットワークの信頼性を高める。
  論文  参考訳（メタデータ） (2020-06-04T18:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。