論文の概要: Effective Batching for Recurrent Neural Network Grammars

• arxiv url: http://arxiv.org/abs/2105.14822v1
• Date: Mon, 31 May 2021 09:34:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:21:26.110443
• Title: Effective Batching for Recurrent Neural Network Grammars
• Title（参考訳）: リカレントニューラルネットワーク文法の効果的なバッチ化
• Authors: Hiroshi Noji, Yohei Oseki
• Abstract要約: リカレントニューラルネットワーク文法(RNNG)は、科学と工学の両方の観点から大きな注目を集めている。 本稿では,複数の文にまたがるテンソルと並列に全ての操作を演算するRNNGに有効であることを示す。 我々のPyTorch実装は、既存のC++ DyNet実装と比較してGPUとx6のスピードアップを効果的に利用しています。
• 参考スコア（独自算出の注目度）: 11.578465815362913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a language model that integrates traditional symbolic operations and flexible neural representations, recurrent neural network grammars (RNNGs) have attracted great attention from both scientific and engineering perspectives. However, RNNGs are known to be harder to scale due to the difficulty of batched training. In this paper, we propose effective batching for RNNGs, where every operation is computed in parallel with tensors across multiple sentences. Our PyTorch implementation effectively employs a GPU and achieves x6 speedup compared to the existing C++ DyNet implementation with model-independent auto-batching. Moreover, our batched RNNG also accelerates inference and achieves x20-150 speedup for beam search depending on beam sizes. Finally, we evaluate syntactic generalization performance of the scaled RNNG against the LSTM baseline, based on the large training data of 100M tokens from English Wikipedia and the broad-coverage targeted syntactic evaluation benchmark. Our RNNG implementation is available at https://github.com/aistairc/rnng-pytorch/.
• Abstract（参考訳）: 従来の記号操作と柔軟な神経表現を統合する言語モデルとして、繰り返しニューラルネットワーク文法(RNNG)は科学と工学の両方の観点から大きな注目を集めている。 しかし、RNNGはバッチトレーニングの難しさからスケールが難しいことが知られている。 本稿では,複数の文にまたがるテンソルと並列に全ての操作が計算されるRNNGの効率的なバッチ化を提案する。 我々のPyTorch実装はGPUを効果的に利用し、モデルに依存しない自動バッチによる既存のC++ DyNet実装と比較してx6スピードアップを実現しています。 さらに, このバッチrnngは, 推定を高速化し, ビームサイズに依存したx20-150高速化を実現する。 最後に,大容量RNNGのLSTMベースラインに対する構文一般化性能を,英語ウィキペディアの100Mトークンの大規模トレーニングデータと,広範囲に対象とする構文評価ベンチマークに基づいて評価した。 RNNGの実装はhttps://github.com/aistairc/rnng-pytorch/で公開しています。

関連論文リスト

• SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks [21.616328837090396]
  スパイキングニューラルネットワーク(SNN)はスパースとイベント駆動のアクティベーションを活用して、モデル推論に関連する計算オーバーヘッドを削減する。 イベント駆動型スパイクアクティベーションユニットを用いた生成言語モデルを実装した。 SpikeGPTは、これまでで最大のバックプロパゲーション訓練SNNモデルであり、自然言語の生成と理解の両方に適している。
  論文  参考訳（メタデータ） (2023-02-27T16:43:04Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• VQ-T: RNN Transducers using Vector-Quantized Prediction Network States [52.48566999668521]
  本稿では,RNNトランスデューサの予測ネットワークにおけるベクトル量子化長短期記憶単位を提案する。 ASRネットワークと協調して離散表現を訓練することにより、格子生成のために仮説を積極的にマージすることができる。 提案するVQ RNNトランスデューサは,通常の予測ネットワークを持つトランスデューサよりもASR性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-08-03T02:45:52Z)
• Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis [28.464210819376593]
  グラフニューラルネットワーク(GNN)は、ディープラーニングにおいて最も強力なツールのひとつだ。 ノード分類、グラフ分類、リンク予測などの非構造化ネットワーク上の複雑な問題を高精度に解決する。 しかし、GNNの推論とトレーニングは複雑であり、不規則なグラフ処理の特徴と密度と正規な計算を一意に組み合わせている。 この複雑さは、現代の大規模並列アーキテクチャ上でGNNを効率的に実行することを非常に困難にしている。
  論文  参考訳（メタデータ） (2022-05-19T17:11:45Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
  グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。 効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。 本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-05T22:06:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。