論文の概要: Log-Concave Coupling for Sampling Neural Net Posteriors

• arxiv url: http://arxiv.org/abs/2407.18802v1
• Date: Fri, 26 Jul 2024 15:05:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 12:59:26.384317
• Title: Log-Concave Coupling for Sampling Neural Net Posteriors
• Title（参考訳）: ニューラルネット後部サンプリングのためのログコンケーブ結合
• Authors: Curtis McDonald, Andrew R Barron,
• Abstract要約: 単一層ニューラルネットワークのサンプリングアルゴリズムを提案する。 このアルゴリズムは、後続密度の$w$と補助確率変数$xi$との結合に基づいている。 補助確率変数 $xi$ の辺密度のスコアは$w|xi$ 以上の期待値によって決定される。
• 参考スコア（独自算出の注目度）: 0.4604003661048266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we present a sampling algorithm for single hidden layer neural networks. This algorithm is built upon a recursive series of Bayesian posteriors using a method we call Greedy Bayes. Sampling of the Bayesian posterior for neuron weight vectors $w$ of dimension $d$ is challenging because of its multimodality. Our algorithm to tackle this problem is based on a coupling of the posterior density for $w$ with an auxiliary random variable $\xi$. The resulting reverse conditional $w|\xi$ of neuron weights given auxiliary random variable is shown to be log concave. In the construction of the posterior distributions we provide some freedom in the choice of the prior. In particular, for Gaussian priors on $w$ with suitably small variance, the resulting marginal density of the auxiliary variable $\xi$ is proven to be strictly log concave for all dimensions $d$. For a uniform prior on the unit $\ell_1$ ball, evidence is given that the density of $\xi$ is again strictly log concave for sufficiently large $d$. The score of the marginal density of the auxiliary random variable $\xi$ is determined by an expectation over $w|\xi$ and thus can be computed by various rapidly mixing Markov Chain Monte Carlo methods. Moreover, the computation of the score of $\xi$ permits methods of sampling $\xi$ by a stochastic diffusion (Langevin dynamics) with drift function built from this score. With such dynamics, information-theoretic methods pioneered by Bakry and Emery show that accurate sampling of $\xi$ is obtained rapidly when its density is indeed strictly log-concave. After which, one more draw from $w|\xi$, produces neuron weights $w$ whose marginal distribution is from the desired posterior.
• Abstract（参考訳）: 本研究では,単一層ニューラルネットワークのサンプリングアルゴリズムを提案する。 このアルゴリズムは、私たちがGreedy Bayesと呼ぶ方法を用いて、ベイズ後部の再帰的列の上に構築されている。 ニューロンの重みベクトルに対するベイズ後方のサンプリングに$w$ of dimension $d$は、その多モード性のために困難である。 この問題に対処するアルゴリズムは、後続密度の$w$と補助確率変数$\xi$との結合に基づいている。 補助確率変数が与えられたニューロンの重みの逆条件$w|\xi$は、対数凹である。 後続分布の構成において、我々は前者の選択にいくつかの自由を与える。 特に、ガウス以前の$w$が好ましく小さな分散を持つ場合、補助変数 $\xi$ の余辺密度は、すべての次元の$d$に対して厳密な対数となることが証明される。 単位 $\ell_1$ の前の一様の場合、$\xi$ の密度が十分に大きい$d$ に対して厳密な対数であるという証拠が与えられる。 補助確率変数 $\xi$ の辺密度のスコアは$w|\xi$ 以上の期待値で決定されるので、マルコフ・チェイン・モンテカルロの様々な高速混合法で計算することができる。 さらに、$\xi$のスコアの計算により、このスコアからドリフト関数が構築された確率拡散(Langevin dynamics)により$\xi$をサンプリングする方法が可能である。 このような力学を用いて、Bakry と Emery の先駆的な情報理論手法は、その密度が厳密に対数凹であるときに、$\xi$ の正確なサンプリングが急速に得られることを示した。 その後、$w|\xi$からもう1つの引き分けは、所望の後方から辺分布を持つニューロン重みを$w$で生成する。

関連論文リスト

• Sum-of-squares lower bounds for Non-Gaussian Component Analysis [33.80749804695003]
  非ガウス成分分析(Non-Gaussian Component Analysis、NGCA)は、高次元データセットにおいて非ガウス方向を求める統計的タスクである。 本稿では Sum-of-Squares フレームワークにおける NGCA の複雑さについて考察する。
  論文  参考訳（メタデータ） (2024-10-28T18:19:13Z)
• Debiasing and a local analysis for population clustering using semidefinite programming [1.9761774213809036]
  サブガウス分布の混合から引き出された小さいデータサンプルを$n$で分割する問題を考察する。 この研究は、起源の個体数に応じた集団化の応用によって動機付けられている。
  論文  参考訳（メタデータ） (2024-01-16T03:14:24Z)
• Data Structures for Density Estimation [66.36971978162461]
  p$のサブリニア数($n$)が与えられた場合、主な結果は$k$のサブリニアで$v_i$を識別する最初のデータ構造になります。 また、Acharyaなどのアルゴリズムの改良版も提供します。
  論文  参考訳（メタデータ） (2023-06-20T06:13:56Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization [96.26317627118912]
  群分散ロバスト最適化(GDRO) オンライン学習技術は、各ラウンドに必要なサンプル数をm$から1$に減らし、同じサンプルを保持する。 分布依存収束率を導出できる重み付きGDROの新規な定式化。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)
• Hamiltonian Monte Carlo for efficient Gaussian sampling: long and random steps [0.0]
  Hamiltonian Monte Carlo (HMC) は密度$e-f(x)$の高次元分布からサンプリングするマルコフ連鎖アルゴリズムである。 HMCは,$widetildeO(sqrtkappa d1/4 log(1/varepsilon)$グラデーションクエリを用いて,全変動距離で$varepsilon$-closeの分布からサンプリングできることを示す。
  論文  参考訳（メタデータ） (2022-09-26T15:29:29Z)
• Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
  既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。 我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
  論文  参考訳（メタデータ） (2022-03-18T18:50:52Z)
• Convergence of Sparse Variational Inference in Gaussian Processes Regression [29.636483122130027]
  計算コストが$mathcalO(log N)2D(log N)2)$の手法を推論に利用できることを示す。
  論文  参考訳（メタデータ） (2020-08-01T19:23:34Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)
• A Randomized Algorithm to Reduce the Support of Discrete Measures [79.55586575988292]
  離散確率測度が$N$原子と$n$実数値関数の集合で成り立つと、元の$N$原子の$n+1$の部分集合で支えられる確率測度が存在する。 我々は、負の円錐によるバリセンターの簡単な幾何学的特徴付けを与え、この新しい測度を「グリード幾何学的サンプリング」によって計算するランダム化アルゴリズムを導出する。 次に、その性質を研究し、それを合成および実世界のデータにベンチマークして、$Ngg n$ regimeにおいて非常に有益であることを示す。
  論文  参考訳（メタデータ） (2020-06-02T16:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。