Fugu-MT 論文翻訳(概要): Echo State Neural Machine Translation

論文の概要: Echo State Neural Machine Translation

arxiv url: http://arxiv.org/abs/2002.11847v1
Date: Thu, 27 Feb 2020 00:08:45 GMT
ステータス: 処理完了
システム内更新日: 2022-12-28 07:12:33.718767
Title: Echo State Neural Machine Translation
Title（参考訳）: エコー状態ニューラルマシン翻訳
Authors: Ankush Garg, Yuan Cao, and Qi Ge
Abstract要約: 我々は、エコー状態ネットワーク(ESN)にインスパイアされたニューラルマシン翻訳(NMT)モデル、エコー状態NMT(ESNMT)を提案する。この極めて単純なモデル構築およびトレーニング手順であっても、ESNMTは、完全にトレーニング可能なベースラインの70-80%の品質に達していることを示す。
参考スコア（独自算出の注目度）: 7.496705711191467
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present neural machine translation (NMT) models inspired by echo state network (ESN), named Echo State NMT (ESNMT), in which the encoder and decoder layer weights are randomly generated then fixed throughout training. We show that even with this extremely simple model construction and training procedure, ESNMT can already reach 70-80% quality of fully trainable baselines. We examine how spectral radius of the reservoir, a key quantity that characterizes the model, determines the model behavior. Our findings indicate that randomized networks can work well even for complicated sequence-to-sequence prediction NLP tasks.
Abstract（参考訳）: 本稿では,エコー状態ネットワーク(esn)にインスパイアされたニューラルマシン翻訳(nmt)モデルについて,エンコーダとデコーダ層重みをランダムに生成し,トレーニング中に固定するエコー状態nmt(esnmt)を提案する。この極めて単純なモデル構築およびトレーニング手順であっても、ESNMTは、完全にトレーニング可能なベースラインの70-80%の品質に達することができる。モデルの特徴を特徴づける重要な量である貯留層のスペクトル半径がモデル挙動を決定するかを検討する。本研究は,複雑なシーケンス・ツー・シーケンス予測NLPタスクにおいても,ランダム化ネットワークが有効であることを示す。

関連論文リスト

Deep Recurrent Stochastic Configuration Networks for Modelling Nonlinear Dynamic Systems [3.8719670789415925]
本稿ではディープリカレント構成ネットワーク(DeepRSCN)と呼ばれる新しいディープリカレント計算フレームワークを提案する。 DeepRSCNはインクリメンタルに構築され、すべての貯水池ノードは最終的な出力に直接リンクする。トレーニングサンプルのセットが与えられた場合、DeepRSCNは、カスケードされた入力読み出し重みを持つランダム基底関数からなる学習表現を迅速に生成できる。
論文参考訳（メタデータ） (2024-10-28T10:33:15Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
Neural Clamping: Joint Input Perturbation and Temperature Scaling for Neural Network Calibration [62.4971588282174]
我々はニューラルクランプ法と呼ばれる新しい後処理キャリブレーション法を提案する。実験の結果,Neural Clampingは最先端の処理後のキャリブレーション法よりも優れていた。
論文参考訳（メタデータ） (2022-09-23T14:18:39Z)
StorSeismic: A new paradigm in deep learning for seismic processing [0.0]
StorSeismicは地震データ処理のフレームワークである。我々は, 自己監督段階において, 人工的に生成された地震データとともに, 事前訓練を行った。そして,ラベル付き合成データを用いて,事前学習したネットワークを教師付き方式で微調整し,各種の耐震処理を行う。
論文参考訳（メタデータ） (2022-04-30T09:55:00Z)
Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文参考訳（メタデータ） (2022-03-29T21:18:47Z)
A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文参考訳（メタデータ） (2021-07-19T23:41:03Z)
Echo State Speech Recognition [10.084532635965513]
エコー状態ネットワーク(ESN)を用いた自動音声認識モデルの提案モデル品質はデコーダが完全にランダム化されても低下しないことを示す。このようなモデルは、デコーダを更新する必要がないため、より効率的にトレーニングできます。
論文参考訳（メタデータ） (2021-02-18T02:04:14Z)
Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
論文参考訳（メタデータ） (2020-08-25T15:48:15Z)
Multi-Tones' Phase Coding (MTPC) of Interaural Time Difference by Spiking Neural Network [68.43026108936029]
雑音の多い実環境下での正確な音像定位のための純粋スパイクニューラルネットワーク(SNN)に基づく計算モデルを提案する。このアルゴリズムを,マイクロホンアレイを用いたリアルタイムロボットシステムに実装する。実験の結果, 平均誤差方位は13度であり, 音源定位に対する他の生物学的に妥当なニューロモルフィックアプローチの精度を上回っていることがわかった。
論文参考訳（メタデータ） (2020-07-07T08:22:56Z)
Error-feedback stochastic modeling strategy for time series forecasting with convolutional neural networks [11.162185201961174]
本稿では,ランダム畳み込みネットワーク(ESM-CNN)ニューラル時系列予測タスクを構築するための新しいError-feedback Modeling (ESM)戦略を提案する。提案したESM-CNNは、最先端のランダムニューラルネットワークを上回るだけでなく、トレーニングされた最先端のディープニューラルネットワークモデルと比較して、予測能力と計算オーバーヘッドの低減も実現している。
論文参考訳（メタデータ） (2020-02-03T13:30:29Z)
Training of Quantized Deep Neural Networks using a Magnetic Tunnel Junction-Based Synapse [23.08163992580639]
深層ニューラルネットワークの計算複雑性とメモリ強度のソリューションとして、量子ニューラルネットワーク(QNN)が積極的に研究されている。磁気トンネル接合(MTJ)デバイスがQNNトレーニングにどのように役立つかを示す。本稿では,MTJ動作を用いた新しいシナプス回路を導入し,量子化更新をサポートする。
論文参考訳（メタデータ） (2019-12-29T11:36:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。