論文の概要: Stabilized training of joint energy-based models and their practical
applications
- arxiv url: http://arxiv.org/abs/2303.04187v1
- Date: Tue, 7 Mar 2023 19:16:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-09 16:13:47.587987
- Title: Stabilized training of joint energy-based models and their practical
applications
- Title（参考訳）: 共同エネルギーモデルにおける安定化トレーニングとその応用
- Authors: Martin Sustek, Samik Sadhu, Lukas Burget, Hynek Hermansky, Jesus
Villalba, Laureano Moro-Velazquez, Najim Dehak
- Abstract要約: 合同エネルギーベースモデル(JEM)は、独立に訓練された分類器$p(y|x)$をエネルギーモデルとして解釈する。
グラディエント・ランゲヴィン・ダイナミクス(SGLD)は、標準のJEMトレーニング中に十分な品質の負のサンプルを提供することがしばしば失敗する。
本稿では,SGLDに基づくJEMトレーニング(ST-JEM)を正および負の例からの貢献をバランスさせて安定化させる訓練手順を提案する。
- 参考スコア（独自算出の注目度）: 33.10211836450623
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recently proposed Joint Energy-based Model (JEM) interprets
discriminatively trained classifier $p(y|x)$ as an energy model, which is also
trained as a generative model describing the distribution of the input
observations $p(x)$. The JEM training relies on "positive examples" (i.e.
examples from the training data set) as well as on "negative examples", which
are samples from the modeled distribution $p(x)$ generated by means of
Stochastic Gradient Langevin Dynamics (SGLD). Unfortunately, SGLD often fails
to deliver negative samples of sufficient quality during the standard JEM
training, which causes a very unbalanced contribution from the positive and
negative examples when calculating gradients for JEM updates. As a consequence,
the standard JEM training is quite unstable requiring careful tuning of
hyper-parameters and frequent restarts when the training starts diverging. This
makes it difficult to apply JEM to different neural network architectures,
modalities, and tasks. In this work, we propose a training procedure that
stabilizes SGLD-based JEM training (ST-JEM) by balancing the contribution from
the positive and negative examples. We also propose to add an additional
"regularization" term to the training objective -- MI between the input
observations $x$ and output labels $y$ -- which encourages the JEM classifier
to make more certain decisions about output labels. We demonstrate the
effectiveness of our approach on the CIFAR10 and CIFAR100 tasks. We also
consider the task of classifying phonemes in a speech signal, for which we were
not able to train JEM without the proposed stabilization. We show that a
convincing speech can be generated from the trained model. Alternatively,
corrupted speech can be de-noised by bringing it closer to the modeled speech
distribution using a few SGLD iterations. We also propose and discuss
additional applications of the trained model.
- Abstract（参考訳）: 最近提案されたジョイント・エナジー・ベース・モデル(JEM)は、識別的に訓練された分類器$p(y|x)$をエネルギーモデルとして解釈し、入力された観測値$p(x)$の分布を記述する生成モデルとしても訓練されている。
JEMトレーニングは、SGLD(Stochastic Gradient Langevin Dynamics)によって生成された分布$p(x)$から生成されるサンプルである"陽性例"(トレーニングデータセットの例)と"負例"に依拠している。
残念なことに、SGLDは標準のJEMトレーニング中に十分な品質の負のサンプルを提供することができず、これはJEM更新の勾配を計算する際の正の例と負の例から非常に不均衡なコントリビューションを引き起こす。
結果として、標準のJEMトレーニングは、ハイパーパラメータの注意深いチューニングを必要とし、トレーニングが分岐し始めると頻繁に再起動する。
これにより、異なるニューラルネットワークアーキテクチャ、モダリティ、タスクにJEMを適用するのが難しくなる。
本研究では,SGLDをベースとしたJEMトレーニング(ST-JEM)を,肯定的および否定的事例からのコントリビューションのバランスによって安定化させる訓練手順を提案する。
また、入力観測値の$x$と出力ラベルの$y$-の間に、トレーニング目標に"正規化"という用語を追加することを提案し、出力ラベルに関するより確実な決定をJEM分類器に促す。
CIFAR10タスクとCIFAR100タスクに対するアプローチの有効性を示す。
また,音声信号中の音素を分類する作業についても検討した。
学習モデルから説得力のある発話を生成できることを示す。
あるいは、いくつかのSGLDイテレーションを用いて、モデル付き音声分布に近づけることで、劣化した音声をデノーズすることができる。
また,訓練モデルのさらなる応用について提案・検討する。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Bridging the Gap: Addressing Discrepancies in Diffusion Model Training
for Classifier-Free Guidance [1.6804613362826175]
拡散モデルは、生成モデルにおいて重要な進歩として現れている。
本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。
トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
論文 参考訳（メタデータ） (2023-11-02T02:03:12Z) - WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。
最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。
本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
論文 参考訳（メタデータ） (2022-11-13T09:56:24Z) - Tuning Language Models as Training Data Generators for
Augmentation-Enhanced Few-Shot Learning [30.65315081964461]
プレトレーニング言語モデル(PLM)を用いて、異なる視点から数発の学習を学習する。
まず,数発のサンプルに対して自己回帰型PLMをチューニングし,それをジェネレータとして使用して,大量の新規トレーニングサンプルを合成する。
我々のアプローチであるFewGenは、GLUEベンチマークの7つの分類タスクに対して、既存の数ショット学習方法よりも総合的に優れた結果が得られる。
論文 参考訳（メタデータ） (2022-11-06T06:46:47Z) - Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a
Decoupled Decoder [0.553073476964056]
VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。
本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。
本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
論文 参考訳（メタデータ） (2022-09-29T13:49:57Z) - Learning GFlowNets from partial episodes for improved convergence and
stability [56.99229746004125]
生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。
GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。
強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
論文 参考訳（メタデータ） (2022-09-26T15:44:24Z) - Learning to Re-weight Examples with Optimal Transport for Imbalanced
Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。
不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。
本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文 参考訳（メタデータ） (2022-08-05T01:23:54Z) - Improving Rare Word Recognition with LM-aware MWER Training [50.241159623691885]
本稿では,ハイブリッド自己回帰変換器(HAT)モデルを識別訓練フレームワークで学習する際のLMを紹介する。
浅層核融合では,仮説生成と損失計算の両方でLMを用いており,LM対応MWER学習モデルでは相対的な10%の改善が達成されている。
再構成セットアップでは、小さなニューラルネットワークモジュールを学習し、データ依存の方法で核融合重みを生成する。
論文 参考訳（メタデータ） (2022-04-15T17:19:41Z) - JEM++: Improved Techniques for Training JEM [1.5533842336139065]
JEM(Joint Energy-based Model)は、現代のCNN分類器の強力な識別力を保持するハイブリッドモデルである。
我々は,JEMの精度,トレーニング安定性,スピードを全面的に向上させるために,さまざまな新しいトレーニング手順とアーキテクチャ機能を提案する。
論文 参考訳（メタデータ） (2021-09-19T00:17:46Z) - ELECTRA: Pre-training Text Encoders as Discriminators Rather Than
Generators [108.3381301768299]
Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。
代用トークン検出という,より効率的な事前学習タスクを提案する。
論文 参考訳（メタデータ） (2020-03-23T21:17:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。