Fugu-MT 論文翻訳(概要): A Survey on Dynamic Neural Networks for Natural Language Processing

論文の概要: A Survey on Dynamic Neural Networks for Natural Language Processing

arxiv url: http://arxiv.org/abs/2202.07101v1
Date: Tue, 15 Feb 2022 00:13:05 GMT
ステータス: 処理完了
システム内更新日: 2022-02-16 13:21:43.482730
Title: A Survey on Dynamic Neural Networks for Natural Language Processing
Title（参考訳）: 自然言語処理のための動的ニューラルネットワークに関する研究
Authors: Canwen Xu and Julian McAuley
Abstract要約: 動的ニューラルネットワークは、計算と時間のサブ線形増加を伴うニューラルネットワークのスケールアップを可能にする。本研究では,NLPにおける3種類の動的ニューラルネットワークの進歩を概説する。
参考スコア（独自算出の注目度）: 13.949219077548687
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Effectively scaling large Transformer models is a main driver of recent advances in natural language processing. Dynamic neural networks, as an emerging research direction, are capable of scaling up neural networks with sub-linear increases in computation and time by dynamically adjusting their computational path based on the input. Dynamic neural networks could be a promising solution to the growing parameter numbers of pretrained language models, allowing both model pretraining with trillions of parameters and faster inference on mobile devices. In this survey, we summarize progress of three types of dynamic neural networks in NLP: skimming, mixture of experts, and early exit. We also highlight current challenges in dynamic neural networks and directions for future research.
Abstract（参考訳）: 大規模なTransformerモデルを効果的にスケールすることは、自然言語処理の最近の進歩の主要な要因である。動的ニューラルネットワークは、新たな研究方向として、入力に基づいて計算経路を動的に調整することで、計算と時間のサブ線形増加を伴うニューラルネットワークのスケールアップを可能にする。動的ニューラルネットワークは、事前学習された言語モデルのパラメータ数の増加に対する有望な解決策となり、数兆のパラメータによる事前トレーニングと、モバイルデバイスでのより高速な推論の両方を可能にする。本研究では,NLPにおける3種類の動的ニューラルネットワークの進歩を概説する。動的ニューラルネットワークの現在の課題と今後の研究の方向性についても強調する。

関連論文リスト

Peer-to-Peer Learning Dynamics of Wide Neural Networks [10.179711440042123]
我々は,一般的なDGDアルゴリズムを用いて学習した広範ニューラルネットワークの学習力学を,明示的で非漸近的に特徴づける。我々は,誤りや誤りを正確に予測し,分析結果を検証した。
論文参考訳（メタデータ） (2024-09-23T17:57:58Z)
Toward Large-scale Spiking Neural Networks: A Comprehensive Survey and Future Directions [38.20628045367021]
スパイクニューラルネットワーク(SNN)は、イベント駆動スパイクによるエネルギー効率の高い計算を約束する。本稿では、スパイキングトランスフォーマーに焦点をあて、ディープスパイキングニューラルネットワークを開発するための既存の手法について調査する。
論文参考訳（メタデータ） (2024-08-19T13:07:48Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models [13.283281356356161]
本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。ニューラルネットワークの過剰なリスクに関する調査結果をレビューする。ニューラルネットワークが、目に見えないデータでうまく一般化できるソリューションを見つける方法に答えようとする論文」をレビューする。
論文参考訳（メタデータ） (2024-01-14T02:30:19Z)
Deception Detection from Linguistic and Physiological Data Streams Using Bimodal Convolutional Neural Networks [19.639533220155965]
本稿では,畳み込み型ニューラルネットワークのマルチモーダルな騙し検出への応用について検討する。 2つのトピックについて104人の被験者にインタビューして構築したデータセットを使用します。
論文参考訳（メタデータ） (2023-11-18T02:44:33Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文参考訳（メタデータ） (2022-09-26T17:59:58Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。学習過程において隠れた層内のニューロンの多様性を探索する。ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文参考訳（メタデータ） (2021-09-20T15:12:16Z)
Population-coding and Dynamic-neurons improved Spiking Actor Network for Reinforcement Learning [10.957578424267757]
スパイキングニューラルネットワーク(SNN)は、スパイキングニューロンの多様な集団を含み、空間的および時間的情報による状態表現に自然に強力である。本稿では,2つの異なるスケールからの効率的な状態表現を実現するために,PDSAN(Population-coding and Dynamic-neurons improve Spiking Actor Network)を提案する。我々のTD3-PDSANモデルは,4つのOpenAIジムベンチマークタスクにおける最先端モデルよりも優れた性能を実現する。
論文参考訳（メタデータ） (2021-06-15T03:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。