論文の概要: Denoising Fisher Training For Neural Implicit Samplers
- arxiv url: http://arxiv.org/abs/2411.01453v1
- Date: Sun, 03 Nov 2024 06:21:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:51:05.777062
- Title: Denoising Fisher Training For Neural Implicit Samplers
- Title（参考訳）: ニューラルインシシデントサンプリングのための漁業訓練
- Authors: Weijian Luo, Wei Deng,
- Abstract要約: 本稿では, 理論的保証のあるニューラル暗黙サンプリングのための新しい訓練手法であるDenoising Fisher Training (DFT)を紹介する。
DFTは、2次元合成分布、ベイズロジスティック回帰、高次元エネルギーベースモデル(EBM)を含む様々なサンプリングベンチマークで実証的に検証されている。
高次元EMMを用いた実験では、最高1ステップのDFTニューラルサンプリングが最大200個のサンプリングステップでMCMC法と同等の結果を得ることができ、100倍以上の効率が得られた。
- 参考スコア（独自算出の注目度）: 3.744818211876898
- License:
- Abstract: Efficient sampling from un-normalized target distributions is pivotal in scientific computing and machine learning. While neural samplers have demonstrated potential with a special emphasis on sampling efficiency, existing neural implicit samplers still have issues such as poor mode covering behavior, unstable training dynamics, and sub-optimal performances. To tackle these issues, in this paper, we introduce Denoising Fisher Training (DFT), a novel training approach for neural implicit samplers with theoretical guarantees. We frame the training problem as an objective of minimizing the Fisher divergence by deriving a tractable yet equivalent loss function, which marks a unique theoretical contribution to assessing the intractable Fisher divergences. DFT is empirically validated across diverse sampling benchmarks, including two-dimensional synthetic distribution, Bayesian logistic regression, and high-dimensional energy-based models (EBMs). Notably, in experiments with high-dimensional EBMs, our best one-step DFT neural sampler achieves results on par with MCMC methods with up to 200 sampling steps, leading to a substantially greater efficiency over 100 times higher. This result not only demonstrates the superior performance of DFT in handling complex high-dimensional sampling but also sheds light on efficient sampling methodologies across broader applications.
- Abstract（参考訳）: 非正規化対象分布からの効率的なサンプリングは、科学計算と機械学習において重要である。
ニューラルサンプリングはサンプリング効率を特に重視する可能性を示してきたが、既存のニューラル暗黙のサンプリングには、モードカバー動作の貧弱さ、不安定なトレーニングダイナミクス、準最適パフォーマンスなどの問題がある。
本稿では,これらの課題に対処するために,理論的保証のあるニューラル暗黙サンプリングのための新しいトレーニング手法であるDenoising Fisher Training (DFT)を導入する。
本研究では, 誘引可能で等価な損失関数を導出することにより, フィッシャー発散を最小化する目的として, トレーニング問題を定式化した。
DFTは、二次元合成分布、ベイジアンロジスティック回帰、高次元エネルギーベースモデル(EBM)など、様々なサンプリングベンチマークで実証的に検証されている。
特に,高次元EMMを用いた実験では,最大200個のサンプリングステップでMCMC法と同等の1段階のDFTニューラルサンプリングを行い,100倍以上の効率向上を実現した。
この結果は、複雑な高次元サンプリング処理におけるDFTの優れた性能を示すだけでなく、より広いアプリケーションにわたる効率的なサンプリング手法にも光を当てる。
関連論文リスト
- Adaptive teachers for amortized samplers [76.88721198565861]
償却推論(英: Amortized inference)とは、ニューラルネットワークなどのパラメトリックモデルをトレーニングし、正確なサンプリングが可能な所定の非正規化密度で分布を近似するタスクである。
オフ・ポリティクスのRLトレーニングは多様でハイ・リワードな候補の発見を促進するが、既存の手法は依然として効率的な探索の課題に直面している。
そこで本研究では,高次領域の優先順位付けにより,初等補正標本作成者(学生)の指導を指導する適応学習分布(教師)を提案する。
論文 参考訳（メタデータ） (2024-10-02T11:33:13Z) - Annealing Flow Generative Model Towards Sampling High-Dimensional and Multi-Modal Distributions [6.992239210938067]
Annealing Flow (AF) は、高次元および多モード分布のサンプルとして設計された連続正規化フローベースのアプローチである。
最先端手法と比較して, AF の優れた性能を示す。
論文 参考訳（メタデータ） (2024-09-30T17:48:22Z) - On the Robustness of Fully-Spiking Neural Networks in Open-World Scenarios using Forward-Only Learning Algorithms [6.7236795813629]
我々はフォワードフォワードアルゴリズム(FFA)を用いたOoD(Out-of-Distribution)検出のための新しいアルゴリズムを開発した。
提案手法は, 標本の潜在表現からクラス表現多様体への距離を用いて, 分布内(ID)データに属するサンプルの確率を測定する。
また,任意のクラスの分布から遠ざかるサンプルの特徴を強調表示するグラデーションフリー属性手法を提案する。
論文 参考訳（メタデータ） (2024-07-19T08:08:17Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
論文 参考訳（メタデータ） (2024-02-09T01:11:23Z) - Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2023-10-10T10:48:52Z) - Entropy-based Training Methods for Scalable Neural Implicit Sampler [15.978655106034113]
非正規化対象分布からの効率的なサンプリングは、科学計算と機械学習の基本的な問題である。
本稿では,これらの制約を克服する,効率的でスケーラブルなニューラル暗黙サンプリング手法を提案する。
提案手法では, 提案手法を応用して, 提案手法を用いることにより, 精度の低い大量のサンプルを生成できる。
論文 参考訳（メタデータ） (2023-06-08T05:56:05Z) - Machine learning enabled experimental design and parameter estimation
for ultrafast spin dynamics [54.172707311728885]
機械学習とベイズ最適実験設計(BOED)を組み合わせた方法論を提案する。
本手法は,大規模スピンダイナミクスシミュレーションのためのニューラルネットワークモデルを用いて,BOEDの正確な分布と実用計算を行う。
数値ベンチマークでは,XPFS実験の誘導,モデルパラメータの予測,実験時間内でのより情報的な測定を行う上で,本手法の優れた性能を示す。
論文 参考訳（メタデータ） (2023-06-03T06:19:20Z) - A Novel Adaptive Causal Sampling Method for Physics-Informed Neural
Networks [35.25394937917774]
インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の解を得るための魅力的な機械学習手法である。
適応サンプリングに時間因果性を導入し,PINの性能と効率を向上させるための適応因果サンプリング手法を提案する。
本研究では, 比較的単純なサンプリング手法を用いることで, 予測性能を2桁まで向上できることを実証した。
論文 参考訳（メタデータ） (2022-10-24T01:51:08Z) - FairIF: Boosting Fairness in Deep Learning via Influence Functions with
Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。
サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。
FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文 参考訳（メタデータ） (2022-01-15T05:14:48Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Exponentially improved detection and correction of errors in
experimental systems using neural networks [0.0]
実験装置の実証モデルを作成するために,2つの機械学習アルゴリズムを導入する。
これにより、一般化最適化タスクに必要な測定回数を指数関数的に削減することができる。
イオントラップ内の成層電場の検出と補償を例に,両アルゴリズムを実証する。
論文 参考訳（メタデータ） (2020-05-18T22:42:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。