Fugu-MT 論文翻訳(概要): Generative Adversarial Training Can Improve Neural Language Models

論文の概要: Generative Adversarial Training Can Improve Neural Language Models

arxiv url: http://arxiv.org/abs/2211.09728v1
Date: Wed, 2 Nov 2022 17:56:33 GMT
ステータス: 処理完了
システム内更新日: 2022-11-20 13:41:52.675855
Title: Generative Adversarial Training Can Improve Neural Language Models
Title（参考訳）: ジェネレーティブ・ディバイサル・トレーニングは、ニューラルネットワークモデルを改善する
Authors: Sajad Movahedi, Azadeh Shakery
Abstract要約: 本稿では,GAN(Generative Adversarial Network)とAT(Adversarial Training)に基づく正規化手法を提案する。我々の手法はベースラインのトレーニングの20%を超えない。
参考スコア（独自算出の注目度）: 6.421670116083633
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While deep learning in the form of recurrent neural networks (RNNs) has caused a significant improvement in neural language modeling, the fact that they are extremely prone to overfitting is still a mainly unresolved issue. In this paper we propose a regularization method based on generative adversarial networks (GANs) and adversarial training (AT), that can prevent overfitting in neural language models. Unlike common adversarial training methods such as the fast gradient sign method (FGSM) that require a second back-propagation through time, and therefore effectively require at least twice the amount of time for regular training, the overhead of our method does not exceed more than 20% of the training of the baselines.
Abstract（参考訳）: リカレントニューラルネットワーク(RNN)という形でのディープラーニングは、ニューラルネットワークモデリングに大幅な改善をもたらしたが、過度に適合する傾向にあるという事実は、現在でも主に未解決の問題である。本稿では,神経言語モデルの過剰フィットを防止するために,gan(generative adversarial network)とat(adversarial training)に基づく正規化手法を提案する。第2のバックプロパゲーションを必要とするファストグレードサイン法(fast gradient sign method, fgsm)のように、通常のトレーニングに少なくとも2倍の時間を要する一般的な敵対的トレーニング方法とは異なり、本手法のオーバーヘッドはベースラインのトレーニングの20%を超えない。

関連論文リスト

A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models [13.283281356356161]
本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。ニューラルネットワークの過剰なリスクに関する調査結果をレビューする。ニューラルネットワークが、目に見えないデータでうまく一般化できるソリューションを見つける方法に答えようとする論文」をレビューする。
論文参考訳（メタデータ） (2024-01-14T02:30:19Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
論文参考訳（メタデータ） (2022-11-10T08:32:13Z)
Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training [4.124948554183487]
本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
論文参考訳（メタデータ） (2022-05-26T19:01:19Z)
Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。学習過程において隠れた層内のニューロンの多様性を探索する。ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文参考訳（メタデータ） (2021-09-20T15:12:16Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文参考訳（メタデータ） (2020-12-25T20:50:15Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Adversarial Training for Large Neural Language Models [107.84290922621163]
対戦型事前学習は、一般化と堅牢性の両方を改善することができることを示す。 ALUMは、対向損失を最大化する埋め込み空間に摂動を適用することで、トレーニング目標を正規化する。 ALUMはさらにタスク固有の微調整と組み合わせて追加のゲインを得ることもできる。
論文参考訳（メタデータ） (2020-04-20T00:07:18Z)
A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
論文参考訳（メタデータ） (2020-04-15T17:52:48Z)
Frosting Weights for Better Continual Training [22.554993259239307]
ニューラルネットワークモデルをトレーニングすることは、生涯にわたる学習プロセスであり、計算集約的なプロセスである。ディープニューラルネットワークモデルは、新しいデータの再トレーニング中に破滅的な忘れに悩まされる可能性がある。そこで我々は,この問題を解決するために,勾配向上とメタラーニングという2つの一般的なアンサンブルアプローチを提案する。
論文参考訳（メタデータ） (2020-01-07T00:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。