論文の概要: Stein Self-Repulsive Dynamics: Benefits From Past Samples
- arxiv url: http://arxiv.org/abs/2002.09070v2
- Date: Tue, 15 Dec 2020 05:36:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 00:34:52.759851
- Title: Stein Self-Repulsive Dynamics: Benefits From Past Samples
- Title（参考訳）: stein自己反発ダイナミクス:過去のサンプルからの利点
- Authors: Mao Ye, Tongzheng Ren, Qiang Liu
- Abstract要約: 我々は,従来の軌道からランゲヴィン力学のサンプルを遠ざけるための反発力として,スタイン変分勾配を導入する。
私たちが理論分析で確立したように、静止分布は、反発力を加えても正しいままである。
本手法は,バニラ・ランゲヴィン力学よりも試料効率が高く,不確実性評価が優れている。
- 参考スコア（独自算出の注目度）: 24.301361199435966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new Stein self-repulsive dynamics for obtaining diversified
samples from intractable un-normalized distributions. Our idea is to introduce
Stein variational gradient as a repulsive force to push the samples of Langevin
dynamics away from the past trajectories. This simple idea allows us to
significantly decrease the auto-correlation in Langevin dynamics and hence
increase the effective sample size. Importantly, as we establish in our
theoretical analysis, the asymptotic stationary distribution remains correct
even with the addition of the repulsive force, thanks to the special properties
of the Stein variational gradient. We perform extensive empirical studies of
our new algorithm, showing that our method yields much higher sample efficiency
and better uncertainty estimation than vanilla Langevin dynamics.
- Abstract（参考訳）: 非正規化分布から多元化サンプルを得るための新しいスタイン自己反発ダイナミクスを提案する。
我々の考えは、ランゲヴィン力学のサンプルを過去の軌道から遠ざけるための反発力としてスタイン変分勾配を導入することである。
この単純なアイデアにより、ランジュバンダイナミクスの自己相関を著しく減少させ、効果的なサンプルサイズを増加させることができる。
重要なことは、我々が理論分析で確立したように、漸近定常分布は、スタイン変分勾配の特別な性質により、反発力の付加によっても正しいままである。
提案手法は,バニラ・ランジュバン力学よりも試料効率が高く,不確実性推定精度も高いことを示す。
関連論文リスト
- From Optimization to Sampling via Lyapunov Potentials [8.687754908398079]
本稿では,Langevin Dynamics を用いた高次元分布からのサンプリング問題について検討する。
非対数凹凸密度の新しいクラスから効率的にサンプルを採取できることを示す。
論文 参考訳（メタデータ） (2024-10-03T20:40:54Z) - High dimensional analysis reveals conservative sharpening and a stochastic edge of stability [21.12433806766051]
トレーニング損失Hessianの大きな固有値のダイナミクスは,モデル間およびバッチ全体において極めて堅牢な特徴を持っていることを示す。
しばしば、大きな固有値が増加するプログレッシブ・シャープニングの初期段階があり、続いて安定性の端として知られる予測可能な値での安定化が続く。
論文 参考訳（メタデータ） (2024-04-30T04:54:15Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳（メタデータ） (2024-01-17T07:58:18Z) - Unbiased Estimation using Underdamped Langevin Dynamics [0.0]
我々は,アンダーダムのランゲヴィン力学による非バイアスな手法の開発に焦点をあてる。
標準的な仮定の下では、推定子は有限分散であり、期待されるコストが有限であるか、あるいは高い確率で有限コストであることを示す。
論文 参考訳（メタデータ） (2022-06-14T23:05:56Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳（メタデータ） (2022-06-10T15:09:46Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Implicit Bias of SGD for Diagonal Linear Networks: a Provable Benefit of
Stochasticity [24.428843425522107]
直交線形ネットワーク上の勾配降下の力学を,その連続時間,すなわち勾配流を用いて研究する。
トレーニング損失の収束速度がバイアス効果の大きさを制御することを示し,収束速度が遅くなるほどバイアスが良くなることを示した。
論文 参考訳（メタデータ） (2021-06-17T14:16:04Z) - Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。
そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
論文 参考訳（メタデータ） (2021-06-03T09:34:17Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳（メタデータ） (2021-02-12T12:23:13Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - A New Accelerated Stochastic Gradient Method with Momentum [4.967897656554012]
運動量(Sgdm)による勾配降下は、繰り返し時間とともに指数関数的に減衰する重みを使い、運動量項を生成する。
本研究では,指数関数的減衰重みと逆比例分解重みの両方が領域に最適化されるパラメータの移動方向のばらつきを制限することができる理論収束特性解析を行う。
論文 参考訳（メタデータ） (2020-05-31T03:04:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。