論文の概要: Non-Generative Energy Based Models

• arxiv url: http://arxiv.org/abs/2304.01297v1
• Date: Mon, 3 Apr 2023 18:47:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 16:47:23.996757
• Title: Non-Generative Energy Based Models
• Title（参考訳）: 非生成エネルギーモデル
• Authors: Jacob Piland and Christopher Sweet and Priscila Saboia and Charles Vardeman II and Adam Czajka
• Abstract要約: エネルギーベースモデル(EBM)はコンピュータビジョンの中でますます人気が高まっている。 我々は、非生成的トレーニングアプローチ、非生成的EMM(NG-EBM)を提案する。 我々のNG-EBMトレーニング戦略は、校正、アウト・オブ・ディストリビューション検出、対向抵抗におけるEMMの利点の多くを保っていることを示す。
• 参考スコア（独自算出の注目度）: 3.1447898427012473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-based models (EBM) have become increasingly popular within computer vision. EBMs bring a probabilistic approach to training deep neural networks (DNN) and have been shown to enhance performance in areas such as calibration, out-of-distribution detection, and adversarial resistance. However, these advantages come at the cost of estimating input data probabilities, usually using a Langevin based method such as Stochastic Gradient Langevin Dynamics (SGLD), which bring additional computational costs, require parameterization, caching methods for efficiency, and can run into stability and scaling issues. EBMs use dynamical methods to draw samples from the probability density function (PDF) defined by the current state of the network and compare them to the training data using a maximum log likelihood approach to learn the correct PDF. We propose a non-generative training approach, Non-Generative EBM (NG-EBM), that utilizes the {\it{Approximate Mass}}, identified by Grathwohl et al., as a loss term to direct the training. We show that our NG-EBM training strategy retains many of the benefits of EBM in calibration, out-of-distribution detection, and adversarial resistance, but without the computational complexity and overhead of the traditional approaches. In particular, the NG-EBM approach improves the Expected Calibration Error by a factor of 2.5 for CIFAR10 and 7.5 times for CIFAR100, when compared to traditionally trained models.
• Abstract（参考訳）: エネルギーベースモデル(EBM)はコンピュータビジョンの中でますます人気が高まっている。 ebmsはディープニューラルネットワーク(dnn)のトレーニングに確率的アプローチをもたらし、キャリブレーション、分散検出、敵対的抵抗といった分野でのパフォーマンスを向上させることが示されている。 しかし、これらの利点は入力データ確率を推定するコストを伴い、通常、Stochastic Gradient Langevin Dynamics (SGLD) のようなランゲヴィンベースの手法を用いて、計算コストを増大させ、パラメータ化を必要とし、効率のキャッシング方法を必要とし、安定性とスケーリングの問題に陥る。 EBMは動的手法を用いて、ネットワークの現在の状態によって定義された確率密度関数(PDF)からサンプルを抽出し、それらを最大ログ確率アプローチを用いてトレーニングデータと比較し、正しいPDFを学習する。 本稿では,Grathwohlらによって同定された「Non-Generative EBM(NG-EBM)」を,トレーニングを指示する損失項として用いた非生成的EBM(Non-Generative EBM)を提案する。 我々のNG-EBMトレーニング戦略は、従来の手法の計算複雑性やオーバーヘッドを伴わずに、校正、分布外検出、対向抵抗におけるEMMの利点の多くを維持していることを示す。 特に、NG-EBMアプローチは、従来の訓練されたモデルと比較して、CIFAR10の2.5倍、CIFAR100の7.5倍の予測校正誤差を改善する。

関連論文リスト

• Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
  本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。 この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T17:53:23Z)
• Gradient-free variational learning with conditional mixture networks [39.827869318925494]
  条件付き混合ネットワーク(CMN)は、高速で勾配のない推論に適しており、複雑な分類タスクを解くことができる。 UCIレポジトリから標準ベンチマークで2層CMNをトレーニングすることで、このアプローチを検証する。 提案手法であるCAVI-CMNは,バックプロパゲーションを伴う最大推定値(MLE)と比較して,競合的かつしばしば優れた予測精度を実現する。
  論文  参考訳（メタデータ） (2024-08-29T10:43:55Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
  人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。 モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:45:21Z)
• Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
  エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。 我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。 本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
  論文  参考訳（メタデータ） (2023-06-01T13:58:06Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Gradient-Guided Importance Sampling for Learning Binary Energy-Based Models [46.87187776084161]
  本研究では,高次元データからエネルギーベースモデル(EBM)を学習するために,勾配誘導重要度サンプリング(RMwGGIS)との比整合を提案する。 合成離散データを用いた密度モデリング実験,グラフ生成,Isingモデルの訓練を行い,提案手法の評価を行った。 提案手法は,比例マッチングの限界を著しく軽減し,実際により効果的に実行し,高次元問題にスケールすることができる。
  論文  参考訳（メタデータ） (2022-10-11T20:52:48Z)
• A VAE-Based Bayesian Bidirectional LSTM for Renewable Energy Forecasting [0.4588028371034407]
  再生可能エネルギーの断続的な性質は ネットワークの運用計画に 新たな課題をもたらします 本稿では,データとモデルの不確実性に対処し,再生可能発電予測のための新しいベイズ確率的手法を提案する。 VAE-Bayesian BiLSTMは、データセットの異なるサイズに対する予測精度と計算効率において、他の確率的深層学習法よりも優れていると推定された。
  論文  参考訳（メタデータ） (2021-03-24T03:47:20Z)
• Energy Forecasting in Smart Grid Systems: A Review of the State-of-the-art Techniques [2.3436632098950456]
  本稿では,スマートグリッド(SG)システムの最先端予測手法について概説する。 統計学,機械学習(ML),深層学習(DL)などの従来の点予測手法について検討した。 ヴィクトリア朝の電力消費とアメリカの電力(AEP)の比較ケーススタディを行った。
  論文  参考訳（メタデータ） (2020-11-25T09:17:07Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。