Fugu-MT 論文翻訳(概要): Decomposing a Recurrent Neural Network into Modules for Enabling Reusability and Replacement

論文の概要: Decomposing a Recurrent Neural Network into Modules for Enabling Reusability and Replacement

arxiv url: http://arxiv.org/abs/2212.05970v1
Date: Fri, 9 Dec 2022 03:29:38 GMT
ステータス: 処理完了
システム内更新日: 2022-12-13 15:46:17.627308
Title: Decomposing a Recurrent Neural Network into Modules for Enabling Reusability and Replacement
Title（参考訳）: リカレントニューラルネットワークをモジュールに分解して再利用性と置換性を実現する
Authors: Sayem Mohammad Imtiaz, Fraol Batole, Astha Singh, Rangeet Pan, Breno Dantas Cruz, Hridesh Rajan
Abstract要約: RNNをモジュールに分解する最初の手法を提案する。我々は,Vanilla,LSTM,GRUなど,さまざまな種類のRNNを研究している。本稿では,RNNモジュールを再利用し,様々なシナリオで置き換える方法について述べる。
参考スコア（独自算出の注目度）: 11.591247347259317
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Can we take a recurrent neural network (RNN) trained to translate between languages and augment it to support a new natural language without retraining the model from scratch? Can we fix the faulty behavior of the RNN by replacing portions associated with the faulty behavior? Recent works on decomposing a fully connected neural network (FCNN) and convolutional neural network (CNN) into modules have shown the value of engineering deep models in this manner, which is standard in traditional SE but foreign for deep learning models. However, prior works focus on the image-based multiclass classification problems and cannot be applied to RNN due to (a) different layer structures, (b) loop structures, (c) different types of input-output architectures, and (d) usage of both nonlinear and logistic activation functions. In this work, we propose the first approach to decompose an RNN into modules. We study different types of RNNs, i.e., Vanilla, LSTM, and GRU. Further, we show how such RNN modules can be reused and replaced in various scenarios. We evaluate our approach against 5 canonical datasets (i.e., Math QA, Brown Corpus, Wiki-toxicity, Clinc OOS, and Tatoeba) and 4 model variants for each dataset. We found that decomposing a trained model has a small cost (Accuracy: -0.6%, BLEU score: +0.10%). Also, the decomposed modules can be reused and replaced without needing to retrain.
Abstract（参考訳）: リカレントニューラルネットワーク(recurrent neural network, rnn)は、言語間の翻訳をトレーニングして、モデルをスクラッチから再トレーニングすることなく、新たな自然言語をサポートするように拡張できるか? 故障行動に関連する部分を置き換えることにより、RNNの故障行動を修正することができるか? 完全結合型ニューラルネットワーク(fcnn)と畳み込み型ニューラルネットワーク(cnn)をモジュールに分解する最近の研究は、従来のseでは標準だがディープラーニングモデルでは異種である深層モデルの設計の価値を示している。しかし、先行研究は画像に基づく多クラス分類の問題に焦点を当てており、RNNには適用できない。 (a)異なる層構造 (b)ループ構造、 (c)異なる種類の入出力アーキテクチャ、及び (d)非線形およびロジスティックなアクティベーション関数の使用。本稿では,rnnをモジュールに分解する最初の手法を提案する。我々は,Vanilla,LSTM,GRUなどさまざまな種類のRNNを研究している。さらに,このようなRNNモジュールを再利用し,様々なシナリオで置き換える方法について述べる。我々は,5つの標準データセット(Math QA, Brown Corpus, Wiki-toxicity, Clinc OOS, Tatoeba)と4つのモデル変種に対するアプローチを評価した。訓練されたモデルを分解するコストは少ない(正確: -0.6%、bleuスコア: +0.10%)。また、分解されたモジュールは再トレーニングすることなく再利用および置き換えが可能である。

関連論文リスト

Learning Useful Representations of Recurrent Neural Network Weight Matrices [30.583752432727326]
リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、汎用並列シーケンスコンピュータである。下流タスクと同様に、RNN分析を容易にするRNN重みの有用な表現をどうやって学習するか? 我々は、RNN重みに対するいくつかの力学的アプローチを検討し、RNNに対して置換同変のDeep Weight Space層を適用する。我々の2つの新しい機能主義者は、入力を探索することでRNNの重みから情報を'インターロゲート'することで抽出する。
論文参考訳（メタデータ） (2024-03-18T17:32:23Z)
On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文参考訳（メタデータ） (2023-09-26T06:06:47Z)
Advancing Regular Language Reasoning in Linear Recurrent Neural Networks [56.11830645258106]
本稿では,リニアリカレントニューラルネットワーク(LRNN)がトレーニングシーケンスに隠された規則を学習できるかを検討する。ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。実験結果から,提案モデルが正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。
論文参考訳（メタデータ） (2023-09-14T03:36:01Z)
Adaptive-saturated RNN: Remember more with less instability [2.191505742658975]
本研究では,2つのアプローチ間の飽和度を動的に調整する適応飽和RNN(asRNN)を提案する。我々の実験は、いくつかの強力な競合相手と比較して、挑戦的なシーケンス学習ベンチマークにおけるasRNNの結果を奨励することを示した。
論文参考訳（メタデータ） (2023-04-24T02:28:03Z)
Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
論文参考訳（メタデータ） (2021-12-15T20:15:01Z)
Decomposing Convolutional Neural Networks into Reusable and Replaceable Modules [15.729284470106826]
本稿では,画像分類問題に使用されるCNNモデルを,各出力クラスのモジュールに分解する。これらのモジュールはさらに再利用したり、新しいモデルを構築するために置き換えることができる。我々は、CIFAR-10、CIFAR-100、ImageNetの3種類のResNetモデルを用いて、我々のアプローチを評価した。
論文参考訳（メタデータ） (2021-10-11T20:41:50Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
Fully Spiking Variational Autoencoder [66.58310094608002]
スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
論文参考訳（メタデータ） (2021-09-26T06:10:14Z)
Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
論文参考訳（メタデータ） (2021-09-05T03:25:23Z)
Introducing the Hidden Neural Markov Chain framework [7.85426761612795]
本稿では,ニューラルモデルの新しいファミリーであるHNMC(Hidden Neural Markov Chain)フレームワークを提案する。クラシックなHNMC、HNMC2、HNMC-CNの3つのモデルを提案します。この新しいニューラルネットワークシーケンシャルフレームワークの可能性を示すもので、新しいモデルへの道を開き、最終的には一般的なBiLSTMやBiGRUと競合する可能性がある。
論文参考訳（メタデータ） (2021-02-17T20:13:45Z)
Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。