論文の概要: Improved Contrastive Divergence Training of Energy Based Models

• arxiv url: http://arxiv.org/abs/2012.01316v3
• Date: Fri, 23 Apr 2021 13:00:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 03:51:03.106704
• Title: Improved Contrastive Divergence Training of Energy Based Models
• Title（参考訳）: エネルギーベースモデルのコントラスト発散訓練の改善
• Authors: Yilun Du, Shuang Li, Joshua Tenenbaum, Igor Mordatch
• Abstract要約: 本稿では,計算が困難な勾配項を精査し,便宜のために取り残されがちなコントラッシブ・ディペンジェンス・トレーニングを改善するための適応法を提案する。 我々は,この勾配項が数値的に重要であり,実際には,推定可能でありながら,トレーニングの不安定さを避けることが重要であることを示す。
• 参考スコア（独自算出の注目度）: 33.73124278935159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive divergence is a popular method of training energy-based models, but is known to have difficulties with training stability. We propose an adaptation to improve contrastive divergence training by scrutinizing a gradient term that is difficult to calculate and is often left out for convenience. We show that this gradient term is numerically significant and in practice is important to avoid training instabilities, while being tractable to estimate. We further highlight how data augmentation and multi-scale processing can be used to improve model robustness and generation quality. Finally, we empirically evaluate stability of model architectures and show improved performance on a host of benchmarks and use cases,such as image generation, OOD detection, and compositional generation.
• Abstract（参考訳）: コントラスト発散はエネルギーベースのモデルを訓練する一般的な方法であるが、トレーニング安定性に問題があることが知られている。 本稿では,計算が困難な勾配項を精査し,便宜のために取り残されがちな逆発散訓練を改善する適応法を提案する。 我々は,この勾配項が数値的に重要であり,実際には,推定可能でありながら,トレーニング不安定を避けることが重要であることを示す。 さらに,モデルのロバスト性と生成品質を改善するために,データ拡張とマルチスケール処理をどのように利用するかについても強調する。 最後に,モデルアーキテクチャの安定性を実証的に評価し,画像生成やOOD検出,合成生成など,ベンチマークやユースケースのホスト上での性能向上を示す。

関連論文リスト

• Stable Consistency Tuning: Understanding and Improving Consistency Models [40.2712218203989]
  拡散モデルは、より優れた生成品質を達成するが、復調の反復的な性質により、生成速度が遅くなる。 新しいジェネレーティブファミリーである一貫性モデルは、非常に高速なサンプリングで競争性能を達成する。 本稿では,拡散モデルの分解過程をマルコフ決定過程(MDP)としてモデル化し,時間差分学習(TD)による値推定としてフレーミング一貫性モデルのトレーニングを提案する。
  論文  参考訳（メタデータ） (2024-10-24T17:55:52Z)
• On conditional diffusion models for PDE simulations [53.01911265639582]
  スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。 本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。 また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:31:04Z)
• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• On the Calibration of Large Language Models and Alignment [63.605099174744865]
  信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。 構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。 我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
  論文  参考訳（メタデータ） (2023-11-22T08:57:55Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Improving Training Stability for Multitask Ranking Models in Recommender Systems [21.410278930639617]
  YouTubeレコメンデーションのための実世界のマルチタスクランキングモデルのトレーニング安定性を改善する方法について述べる。 既存のソリューションの限界を緩和する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-17T23:04:56Z)
• Improving Adversarial Robustness by Contrastive Guided Diffusion Process [19.972628281993487]
  データ生成における拡散モデルを導くために,コントラスト誘導拡散プロセス(Contrastive-Guided Diffusion Process, DP)を提案する。 生成データ間の識別性の向上は, 対向的ロバスト性の向上に不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-10-18T07:20:53Z)
• Imitation Learning by State-Only Distribution Matching [2.580765958706854]
  観察からの模倣学習は、人間の学習と同様の方法で政策学習を記述する。 本稿では,解釈可能な収束度と性能測定値とともに,非逆学習型観測手法を提案する。
  論文  参考訳（メタデータ） (2022-02-09T08:38:50Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。