論文の概要: Improved Contrastive Divergence Training of Energy Based Models
- arxiv url: http://arxiv.org/abs/2012.01316v3
- Date: Fri, 23 Apr 2021 13:00:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 03:51:03.106704
- Title: Improved Contrastive Divergence Training of Energy Based Models
- Title(参考訳): エネルギーベースモデルのコントラスト発散訓練の改善
- Authors: Yilun Du, Shuang Li, Joshua Tenenbaum, Igor Mordatch
- Abstract要約: 本稿では,計算が困難な勾配項を精査し,便宜のために取り残されがちなコントラッシブ・ディペンジェンス・トレーニングを改善するための適応法を提案する。
我々は,この勾配項が数値的に重要であり,実際には,推定可能でありながら,トレーニングの不安定さを避けることが重要であることを示す。
- 参考スコア(独自算出の注目度): 33.73124278935159
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive divergence is a popular method of training energy-based models,
but is known to have difficulties with training stability. We propose an
adaptation to improve contrastive divergence training by scrutinizing a
gradient term that is difficult to calculate and is often left out for
convenience. We show that this gradient term is numerically significant and in
practice is important to avoid training instabilities, while being tractable to
estimate. We further highlight how data augmentation and multi-scale processing
can be used to improve model robustness and generation quality. Finally, we
empirically evaluate stability of model architectures and show improved
performance on a host of benchmarks and use cases,such as image generation, OOD
detection, and compositional generation.
- Abstract(参考訳): コントラスト発散はエネルギーベースのモデルを訓練する一般的な方法であるが、トレーニング安定性に問題があることが知られている。
本稿では,計算が困難な勾配項を精査し,便宜のために取り残されがちな逆発散訓練を改善する適応法を提案する。
我々は,この勾配項が数値的に重要であり,実際には,推定可能でありながら,トレーニング不安定を避けることが重要であることを示す。
さらに,モデルのロバスト性と生成品質を改善するために,データ拡張とマルチスケール処理をどのように利用するかについても強調する。
最後に,モデルアーキテクチャの安定性を実証的に評価し,画像生成やOOD検出,合成生成など,ベンチマークやユースケースのホスト上での性能向上を示す。
関連論文リスト
- Robustness-Congruent Adversarial Training for Secure Machine Learning
Model Updates [13.911586916369108]
機械学習モデルにおける誤分類は、敵の例に対して堅牢性に影響を及ぼす可能性があることを示す。
この問題に対処するために,ロバストネス・コングロレント・逆行訓練という手法を提案する。
我々のアルゴリズムと、より一般的には、非回帰的制約で学習することは、一貫した推定器を訓練するための理論的に基底的なフレームワークを提供することを示す。
論文 参考訳(メタデータ) (2024-02-27T10:37:13Z) - On the Calibration of Large Language Models and Alignment [63.605099174744865]
信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。
構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。
我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
論文 参考訳(メタデータ) (2023-11-22T08:57:55Z) - Test-time Adaptive Vision-and-Language Navigation [75.50521064106732]
視覚・言語ナビゲーションのためのFSTTA(Fast-Slow Test-Time Adaptation)アプローチを提案する。
高速更新フェーズでは、最近のマルチステップナビゲーションプロセスで発生する勾配を、さまざまなレベルの一貫性を持つコンポーネントに分解する。
遅い更新フェーズでは、歴史的に記録されたパラメータを収集し、同様の分解蓄積分析を行い、モデルを安定状態に戻す。
論文 参考訳(メタデータ) (2023-11-22T07:47:39Z) - QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - Improving Training Stability for Multitask Ranking Models in Recommender
Systems [21.410278930639617]
YouTubeレコメンデーションのための実世界のマルチタスクランキングモデルのトレーニング安定性を改善する方法について述べる。
既存のソリューションの限界を緩和する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-17T23:04:56Z) - Improving Adversarial Robustness by Contrastive Guided Diffusion Process [19.972628281993487]
データ生成における拡散モデルを導くために,コントラスト誘導拡散プロセス(Contrastive-Guided Diffusion Process, DP)を提案する。
生成データ間の識別性の向上は, 対向的ロバスト性の向上に不可欠であることを示す。
論文 参考訳(メタデータ) (2022-10-18T07:20:53Z) - Adversarial Fine-tune with Dynamically Regulated Adversary [27.034257769448914]
健康診断や自律手術ロボットなどの現実世界の多くの応用において、このような極めて悪意のある攻撃に対するモデルロバスト性よりも、標準的な性能が重視されている。
本研究は, モデル標準性能に対する対向サンプルの負の効果を阻害する, 単純かつ効果的な移動学習に基づく対向学習戦略を提案する。
さらに,トレーニングの複雑さを伴わずに,敵の強靭性を向上する訓練フレンドリーな敵攻撃アルゴリズムを導入する。
論文 参考訳(メタデータ) (2022-04-28T00:07:15Z) - Imitation Learning by State-Only Distribution Matching [2.580765958706854]
観察からの模倣学習は、人間の学習と同様の方法で政策学習を記述する。
本稿では,解釈可能な収束度と性能測定値とともに,非逆学習型観測手法を提案する。
論文 参考訳(メタデータ) (2022-02-09T08:38:50Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳(メタデータ) (2020-10-28T15:23:49Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。