論文の概要: Estimating the Probability of Sampling a Trained Neural Network at Random

• arxiv url: http://arxiv.org/abs/2501.18812v1
• Date: Fri, 31 Jan 2025 00:16:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 22:46:12.871229
• Title: Estimating the Probability of Sampling a Trained Neural Network at Random
• Title（参考訳）: ランダムにトレーニングニューラルネットワークをサンプリングする確率の推定
• Authors: Adam Scherlis, Nora Belrose,
• Abstract要約: パラメータ空間の体積を推定するための既存のアルゴリズムは、真の体積を数百万のオーダーで過小評価していることを示す。 この誤差は劇的に減少するが、重要サンプリング法により完全には排除されない。 また、過度に一般化された行動領域は小さく、したがってランダムにサンプリングされる可能性が低く、よく一般化された関数に対する帰納的バイアスが示される。
• 参考スコア（独自算出の注目度）: 1.9358739203360091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an algorithm for estimating the probability mass, under a Gaussian or uniform prior, of a region in neural network parameter space corresponding to a particular behavior, such as achieving test loss below some threshold. When the prior is uniform, this problem is equivalent to measuring the volume of a region. We show empirically and theoretically that existing algorithms for estimating volumes in parameter space underestimate the true volume by millions of orders of magnitude. We find that this error can be dramatically reduced, but not entirely eliminated, with an importance sampling method using gradient information that is already provided by popular optimizers. The negative logarithm of this probability can be interpreted as a measure of a network's information content, in accordance with minimum description length (MDL) principles and rate-distortion theory. As expected, this quantity increases during language model training. We also find that badly-generalizing behavioral regions are smaller, and therefore less likely to be sampled at random, demonstrating an inductive bias towards well-generalizing functions.
• Abstract（参考訳）: 本稿では, あるしきい値以下での試験損失の達成など, 特定の行動に対応するニューラルネットワークパラメータ空間内の領域の確率質量を, ガウス的あるいは均一な事前の下で推定するアルゴリズムを提案する。 前者が一様であれば、この問題は領域の体積を測定することと等価である。 パラメータ空間の体積を推定するための既存のアルゴリズムが、真の体積を数百万桁のオーダーで過小評価していることを実証的および理論的に示す。 この誤差は劇的に低減できるが完全には排除されないことが判明し、すでに人気のある最適化者によって提供されている勾配情報を用いた重要サンプリング法が提案されている。 この確率の負の対数は、最小記述長(MDL)の原理とレート歪曲理論に従って、ネットワークの情報内容の尺度として解釈できる。 予想通り、この量は言語モデルトレーニング中に増加する。 また、過度に一般化された行動領域は小さく、したがってランダムにサンプリングされる可能性が低く、よく一般化された関数に対する帰納的バイアスが示される。

関連論文リスト

• Quantification via Gaussian Latent Space Representations [3.2198127675295036]
  定量化は、未知の例の袋の中で各クラスの有病率を予測するタスクである。 本稿では,実例の袋の不変表現を得るために,潜在空間におけるガウス分布を用いたエンドツーエンドニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2025-01-23T13:13:46Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Sampling weights of deep neural networks [1.2370077627846041]
  完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。 教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。 サンプルネットワークが普遍近似器であることを証明する。
  論文  参考訳（メタデータ） (2023-06-29T10:13:36Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Learning Optimal Flows for Non-Equilibrium Importance Sampling [13.469239537683299]
  簡単なベース分布からサンプルを生成し,速度場によって生成された流れに沿って移動し,これらの流れに沿って平均を実行する手法を開発した。 理論面では、ターゲットに対する速度場を調整し、提案した推定器が完全推定器となる一般的な条件を確立する方法について論じる。 計算面では、ニューラルネットワークによる速度場を表現するためにディープラーニングを使用して、ゼロ分散最適化に向けて学習する方法を示す。
  論文  参考訳（メタデータ） (2022-06-20T17:25:26Z)
• Rethinking Spatial Invariance of Convolutional Networks for Object Counting [119.83017534355842]
  局所連結ガウス核を用いて元の畳み込みフィルタを置き換え、密度写像の空間位置を推定する。 従来の研究から着想を得て,大規模なガウス畳み込みの近似を好意的に実装するために,翻訳不変性を伴う低ランク近似を提案する。 提案手法は,他の最先端手法を著しく上回り,物体の空間的位置の有望な学習を実現する。
  論文  参考訳（メタデータ） (2022-06-10T17:51:25Z)
• Learning Distributions by Generative Adversarial Networks: Approximation and Generalization [0.6768558752130311]
  本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。 我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。 生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
  論文  参考訳（メタデータ） (2022-05-25T09:26:17Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Learning from Small Samples: Transformation-Invariant SVMs with Composition and Locality at Multiple Scales [11.210266084524998]
  本稿では、畳み込みニューラルネットワーク(CNN)を成功させた、サポートベクターマシン(SVM)に組み込む方法を示す。
  論文  参考訳（メタデータ） (2021-09-27T04:02:43Z)
• Probabilistic partition of unity networks: clustering based deep approximation [0.0]
  ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。 ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。 本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
  論文  参考訳（メタデータ） (2021-07-07T08:02:00Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• A Low-Complexity MIMO Channel Estimator with Implicit Structure of a Convolutional Neural Network [0.0]
  単一アンテナユーザを対象とした最小平均二乗誤差チャネル推定器を学習する低複雑性畳み込みニューラルネットワーク推定器を提案する。 パイロットシーケンスの任意の選択に対する推定器の高レベルな記述を導出する。 数値的な結果は最先端のアルゴリズムと比較して性能が向上することを示している。
  論文  参考訳（メタデータ） (2021-04-26T15:52:29Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
  パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。 我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
  論文  参考訳（メタデータ） (2020-10-11T19:05:49Z)
• Learning Minimax Estimators via Online Learning [55.92459567732491]
  確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。 混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
  論文  参考訳（メタデータ） (2020-06-19T22:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。