論文の概要: A Survey on Dynamic Neural Networks for Natural Language Processing
- arxiv url: http://arxiv.org/abs/2202.07101v1
- Date: Tue, 15 Feb 2022 00:13:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-16 13:21:43.482730
- Title: A Survey on Dynamic Neural Networks for Natural Language Processing
- Title(参考訳): 自然言語処理のための動的ニューラルネットワークに関する研究
- Authors: Canwen Xu and Julian McAuley
- Abstract要約: 動的ニューラルネットワークは、計算と時間のサブ線形増加を伴うニューラルネットワークのスケールアップを可能にする。
本研究では,NLPにおける3種類の動的ニューラルネットワークの進歩を概説する。
- 参考スコア(独自算出の注目度): 13.949219077548687
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Effectively scaling large Transformer models is a main driver of recent
advances in natural language processing. Dynamic neural networks, as an
emerging research direction, are capable of scaling up neural networks with
sub-linear increases in computation and time by dynamically adjusting their
computational path based on the input. Dynamic neural networks could be a
promising solution to the growing parameter numbers of pretrained language
models, allowing both model pretraining with trillions of parameters and faster
inference on mobile devices. In this survey, we summarize progress of three
types of dynamic neural networks in NLP: skimming, mixture of experts, and
early exit. We also highlight current challenges in dynamic neural networks and
directions for future research.
- Abstract(参考訳): 大規模なTransformerモデルを効果的にスケールすることは、自然言語処理の最近の進歩の主要な要因である。
動的ニューラルネットワークは、新たな研究方向として、入力に基づいて計算経路を動的に調整することで、計算と時間のサブ線形増加を伴うニューラルネットワークのスケールアップを可能にする。
動的ニューラルネットワークは、事前学習された言語モデルのパラメータ数の増加に対する有望な解決策となり、数兆のパラメータによる事前トレーニングと、モバイルデバイスでのより高速な推論の両方を可能にする。
本研究では,NLPにおける3種類の動的ニューラルネットワークの進歩を概説する。
動的ニューラルネットワークの現在の課題と今後の研究の方向性についても強調する。
関連論文リスト
- Structure-Preserving Transformers for Learning Parametrized Hamiltonian
Systems [0.0]
我々は変圧器にインスパイアされたニューラルネットワークを用いて複雑な非線形力学系を学習する。
まず, 長期安定性向上のため, 構造保存特性を付加した。
ニューラルネットワークを現実世界のアプリケーションに適用する場合、これは極めて重要であることが示されている。
論文 参考訳(メタデータ) (2023-12-18T13:09:55Z) - Deception Detection from Linguistic and Physiological Data Streams Using
Bimodal Convolutional Neural Networks [26.398911872327684]
本稿では,畳み込み型ニューラルネットワークのマルチモーダルな騙し検出への応用について検討する。
2つのトピックについて104人の被験者にインタビューして構築したデータセットを使用します。
論文 参考訳(メタデータ) (2023-11-18T02:44:33Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Complex Dynamic Neurons Improved Spiking Transformer Network for
Efficient Automatic Speech Recognition [8.998797644039064]
リークインテグレーテッド・アンド・ファイア(LIF)ニューロンを用いたスパイクニューラルネットワーク(SNN)は、音声認識(ASR)タスクで一般的に用いられている。
ここでは、スパイキングトランスから生成された逐次パターンを後処理する4種類の神経力学を紹介する。
その結果,DyTr-SNNは音素誤り率の低下,計算コストの低下,ロバスト性の向上など,非トイ自動音声認識タスクをうまく処理できることがわかった。
論文 参考訳(メタデータ) (2023-02-02T16:20:27Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Population-coding and Dynamic-neurons improved Spiking Actor Network for
Reinforcement Learning [10.957578424267757]
スパイキングニューラルネットワーク(SNN)は、スパイキングニューロンの多様な集団を含み、空間的および時間的情報による状態表現に自然に強力である。
本稿では,2つの異なるスケールからの効率的な状態表現を実現するために,PDSAN(Population-coding and Dynamic-neurons improve Spiking Actor Network)を提案する。
我々のTD3-PDSANモデルは,4つのOpenAIジムベンチマークタスクにおける最先端モデルよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2021-06-15T03:14:41Z) - Effective and Efficient Computation with Multiple-timescale Spiking
Recurrent Neural Networks [0.9790524827475205]
本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。
我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
論文 参考訳(メタデータ) (2020-05-24T01:04:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。