論文の概要: Estimating the Probability of Sampling a Trained Neural Network at Random
- arxiv url: http://arxiv.org/abs/2501.18812v1
- Date: Fri, 31 Jan 2025 00:16:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-03 14:01:26.587060
- Title: Estimating the Probability of Sampling a Trained Neural Network at Random
- Title（参考訳）: ランダムにトレーニングニューラルネットワークをサンプリングする確率の推定
- Authors: Adam Scherlis, Nora Belrose,
- Abstract要約: パラメータ空間の体積を推定するための既存のアルゴリズムは、真の体積を数百万のオーダーで過小評価していることを示す。
この誤差は劇的に減少するが、重要サンプリング法により完全には排除されない。
また、過度に一般化された行動領域は小さく、したがってランダムにサンプリングされる可能性が低く、よく一般化された関数に対する帰納的バイアスが示される。
- 参考スコア（独自算出の注目度）: 1.9358739203360091
- License:
- Abstract: We present an algorithm for estimating the probability mass, under a Gaussian or uniform prior, of a region in neural network parameter space corresponding to a particular behavior, such as achieving test loss below some threshold. When the prior is uniform, this problem is equivalent to measuring the volume of a region. We show empirically and theoretically that existing algorithms for estimating volumes in parameter space underestimate the true volume by millions of orders of magnitude. We find that this error can be dramatically reduced, but not entirely eliminated, with an importance sampling method using gradient information that is already provided by popular optimizers. The negative logarithm of this probability can be interpreted as a measure of a network's information content, in accordance with minimum description length (MDL) principles and rate-distortion theory. As expected, this quantity increases during language model training. We also find that badly-generalizing behavioral regions are smaller, and therefore less likely to be sampled at random, demonstrating an inductive bias towards well-generalizing functions.
- Abstract（参考訳）: 本稿では, あるしきい値以下での試験損失の達成など, 特定の行動に対応するニューラルネットワークパラメータ空間内の領域の確率質量を, ガウス的あるいは均一な事前の下で推定するアルゴリズムを提案する。
前者が一様であれば、この問題は領域の体積を測定することと等価である。
パラメータ空間の体積を推定するための既存のアルゴリズムが、真の体積を数百万桁のオーダーで過小評価していることを実証的および理論的に示す。
この誤差は劇的に低減できるが完全には排除されないことが判明し、すでに人気のある最適化者によって提供されている勾配情報を用いた重要サンプリング法が提案されている。
この確率の負の対数は、最小記述長(MDL)の原理とレート歪曲理論に従って、ネットワークの情報内容の尺度として解釈できる。
予想通り、この量は言語モデルトレーニング中に増加する。
また、過度に一般化された行動領域は小さく、したがってランダムにサンプリングされる可能性が低く、よく一般化された関数に対する帰納的バイアスが示される。
関連論文リスト
- Quantification via Gaussian Latent Space Representations [3.2198127675295036]
定量化は、未知の例の袋の中で各クラスの有病率を予測するタスクである。
本稿では,実例の袋の不変表現を得るために,潜在空間におけるガウス分布を用いたエンドツーエンドニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2025-01-23T13:13:46Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - Learning Optimal Flows for Non-Equilibrium Importance Sampling [13.469239537683299]
簡単なベース分布からサンプルを生成し,速度場によって生成された流れに沿って移動し,これらの流れに沿って平均を実行する手法を開発した。
理論面では、ターゲットに対する速度場を調整し、提案した推定器が完全推定器となる一般的な条件を確立する方法について論じる。
計算面では、ニューラルネットワークによる速度場を表現するためにディープラーニングを使用して、ゼロ分散最適化に向けて学習する方法を示す。
論文 参考訳（メタデータ） (2022-06-20T17:25:26Z) - Learning Distributions by Generative Adversarial Networks: Approximation
and Generalization [0.6768558752130311]
本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。
我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。
生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
論文 参考訳（メタデータ） (2022-05-25T09:26:17Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳（メタデータ） (2021-10-06T16:58:34Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳（メタデータ） (2020-10-11T19:05:49Z) - Learning Minimax Estimators via Online Learning [55.92459567732491]
確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。
混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
論文 参考訳（メタデータ） (2020-06-19T22:49:42Z) - Interpolation and Learning with Scale Dependent Kernels [91.41836461193488]
非パラメトリックリッジレス最小二乗の学習特性について検討する。
スケール依存カーネルで定義される推定器の一般的な場合を考える。
論文 参考訳（メタデータ） (2020-06-17T16:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。