論文の概要: Estimating the expected output of wide random MLPs more efficiently than sampling

• arxiv url: http://arxiv.org/abs/2605.05179v1
• Date: Wed, 06 May 2026 17:46:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.973106
• Title: Estimating the expected output of wide random MLPs more efficiently than sampling
• Title（参考訳）: ワイドランダムMLPの予測出力をサンプリングよりも効率的に推定する
• Abstract要約: ネットワークを介してサンプルを実行することなく、機械学習における期待される損失を見積もる方法を示す。 我々は各層における活性化の分布を近似的に表現し、累積やエルミート展開といったツールを活用する。 本手法は, 稀な事象の確率を推定し, モデルトレーニングにどのように使用できるかを示す。
• 参考スコア（独自算出の注目度）: 6.961302836244584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: By far the most common way to estimate an expected loss in machine learning is to draw samples, compute the loss on each one, and take the empirical average. However, sampling is not necessarily optimal. Given an MLP at initialization, we show how to estimate its expected output over Gaussian inputs without running samples through the network at all. Instead, we produce approximate representations of the distributions of activations at each layer, leveraging tools such as cumulants and Hermite expansions. We show both theoretically and empirically that for sufficiently wide networks, our estimator achieves a target mean squared error using substantially fewer FLOPs than Monte Carlo sampling. We find moreover that our methods perform particularly well at estimating the probabilities of rare events, and additionally demonstrate how they can be used for model training. Together, these findings suggest a path to producing models with a greatly reduced probability of catastrophic tail risks.
• Abstract（参考訳）: 機械学習における期待される損失を推定する最も一般的な方法は、サンプルを描画し、それぞれの損失を計算し、経験的な平均を取ることである。 しかし、サンプリングが必ずしも最適とは限らない。 初期化時に MLP が与えられると、ネットワークを介してサンプルを実行することなく、ガウス入力に対して期待される出力を推定する方法を示す。 その代わり、各層における活性化の分布を近似的に表現し、累積やエルミート展開といったツールを活用する。 我々は,十分に広いネットワークにおいて,推定器がモンテカルロサンプリングよりも極めて少ないFLOPを用いて目標平均2乗誤差を達成することを理論的および実証的に示す。 さらに,本手法は稀な事象の確率を推定し,モデルトレーニングにどのように使用できるかを示した。 これらの結果は、破滅的な尾のリスクを著しく低減したモデルを作るための道のりを示唆している。

関連論文リスト

• UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs [21.05820098186702]
  我々はUnpredictaBenchを紹介した。これは、大きな言語モデルが真の基礎となる分布をキャプチャする能力をテストする評価である。 単純な分布シミュレーションでさえも困難であり、複雑なシステムのスタンドインとしてLLMを使用するための第一歩となる。
  論文  参考訳（メタデータ） (2026-06-04T18:18:02Z)
• Estimating the Probabilities of Rare Outputs in Language Models [8.585890569162267]
  小型変圧器言語モデルからのargmaxサンプリングの文脈における低確率推定について検討した。 その結果、重要サンプリングはアクティベーション外挿より優れるが、どちらもナイーブサンプリングより優れていることがわかった。 低確率推定のための新しい手法は、最悪の場合の性能についてより強力な保証を提供するために必要である、と我々は主張する。
  論文  参考訳（メタデータ） (2024-10-17T04:31:18Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Approximate Thompson Sampling via Epistemic Neural Networks [26.872304174606278]
  てんかん性ニューラルネットワーク(ENN)は、正確な関節の予測分布を生成するように設計されている。 ENNがこの目的をうまく果たし、共同予測分布の質がいかに性能を向上させるかを示す。
  論文  参考訳（メタデータ） (2023-02-18T01:58:15Z)
• Rethinking Collaborative Metric Learning: Toward an Efficient Alternative without Negative Sampling [156.7248383178991]
  コラボレーティブ・メトリック・ラーニング(CML)パラダイムはレコメンデーション・システム(RS)分野に広く関心を集めている。 負のサンプリングが一般化誤差のバイアス付き推定に繋がることがわかった。 そこで我々は,SFCML (textitSampling-Free Collaborative Metric Learning) という名前のCMLに対して,負のサンプリングを伴わない効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-06-23T08:50:22Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。