Fugu-MT 論文翻訳(概要): Sockeye 3: Fast Neural Machine Translation with PyTorch

論文の概要: Sockeye 3: Fast Neural Machine Translation with PyTorch

arxiv url: http://arxiv.org/abs/2207.05851v1
Date: Tue, 12 Jul 2022 21:29:35 GMT
ステータス: 処理完了
システム内更新日: 2022-07-14 14:19:21.801917
Title: Sockeye 3: Fast Neural Machine Translation with PyTorch
Title（参考訳）: Sockeye 3: PyTorchによる高速ニューラルネットワーク翻訳
Authors: Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Marcello Federico, Anna Currey
Abstract要約: Sockeye 3は、ニューラルネットワーク翻訳のためのSockeyeツールキットの最新版である。現在、PyTorchをベースとして、Sockeye 3はより高速なモデル実装とより高度な機能を提供し、さらに合理化されている。
参考スコア（独自算出の注目度）: 19.86859292182889
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sockeye 3 is the latest version of the Sockeye toolkit for Neural Machine Translation (NMT). Now based on PyTorch, Sockeye 3 provides faster model implementations and more advanced features with a further streamlined codebase. This enables broader experimentation with faster iteration, efficient training of stronger and faster models, and the flexibility to move new ideas quickly from research to production. When running comparable models, Sockeye 3 is up to 126% faster than other PyTorch implementations on GPUs and up to 292% faster on CPUs. Sockeye 3 is open source software released under the Apache 2.0 license.
Abstract（参考訳）: Sockeye 3は、Neural Machine Translation (NMT)のためのSockyeツールキットの最新バージョンである。現在、pytorchをベースにしたsockeye 3は、さらに合理化されたコードベースで、より高速なモデル実装とより高度な機能を提供します。これにより、より速いイテレーションによる広範な実験、より強く高速なモデルの効率的なトレーニング、新しいアイデアを研究から生産へと素早く移行するための柔軟性が可能になる。同等のモデルを実行する場合、sockeye 3はgpu上の他のpytorch実装よりも最大126%高速で、cpuでは最大292%高速である。 Sockeye 3はApache 2.0ライセンス下でリリースされたオープンソースソフトウェアである。

関連論文リスト

No Saved Kaleidosope: an 100% Jitted Neural Network Coding Language with Pythonic Syntax [0.8408735228878615]
我々は,C++,LLVM,Cudaを用いてニューラルネットワークを学習するためのjittedコンパイラを開発した。オブジェクト指向の特徴、強い型付け、データ前処理のための並列ワーカー、式のためのピソニック構文、PyTorchのようなモデル宣言、自動微分などが特徴である。
論文参考訳（メタデータ） (2024-09-17T23:15:39Z)
Exponentially Faster Language Modelling [28.852535686791406]
提案するUltraFastBERTは、類似のBERTモデルと同等に動作しながら、推論中に0.3%のニューロンを使用するBERT変異体である。最適化されたベースラインフィードフォワード実装よりも78倍高速化されたハイレベルCPUコードと、同等のバッチフィードフォワード推論よりも40倍高速化されたPyTorch実装を提供する。
論文参考訳（メタデータ） (2023-11-15T18:42:50Z)
PockEngine: Sparse and Efficient Fine-tuning in a Pocket [62.955793932377524]
さまざまなエッジデバイスで微調整が可能な,小型でスパースで効率的なエンジンであるPockEngineを紹介します。 PockEngineはスパースバックプロパゲーションをサポートし、測定メモリの節約とレイテンシの削減でモデルをスパース更新する。注目すべきなのは、PockEngineはNVIDIA Jetson AGX OrinのLLaMav2-7Bを550トークン/秒で微調整できることだ。
論文参考訳（メタデータ） (2023-10-26T19:46:11Z)
Comparative Analysis of CPU and GPU Profiling for Deep Learning Models [0.0]
本稿では、Pytorchを用いて深層ニューラルネットワークをトレーニングしながら、CPUとGPUの時間とメモリ割り当てを示す。単純なネットワークでは、CPUよりもGPUが大幅に改善されることはない。
論文参考訳（メタデータ） (2023-09-05T18:22:11Z)
INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文参考訳（メタデータ） (2023-08-11T04:24:39Z)
Retentive Network: A Successor to Transformer for Large Language Models [91.6652200825638]
大規模言語モデルの基盤アーキテクチャとしてRetentive Network(RetNet)を提案する。理論的には、再発と注意の関係を導出する。言語モデリングの実験結果から、RetNetは優れたスケーリング結果、並列トレーニング、低コストなデプロイメント、効率的な推論を実現している。
論文参考訳（メタデータ） (2023-07-17T16:40:01Z)
TorchBench: Benchmarking PyTorch with High API Surface Coverage [9.68698340637426]
我々は、PyTorchソフトウェアスタックの性能を研究するための新しいベンチマークスイートであるTorchBenchを提案する。 TorchBenchは、PyTorchソフトウェアスタックのパフォーマンスを包括的に特徴付けることができる。本稿では,TorchBenchの実用例を2つ紹介する。
論文参考訳（メタデータ） (2023-04-27T14:37:05Z)
PyTorchVideo: A Deep Learning Library for Video Understanding [71.89124881732015]
PyTorchVideoは、ビデオ理解タスクのためのオープンソースのディープラーニングライブラリである。マルチモーダルデータローディング、変換、モデルを含む、ビデオ理解ツールのフルスタックをカバーする。ライブラリはPyTorchをベースにしており、任意のトレーニングフレームワークで使用することができる。
論文参考訳（メタデータ） (2021-11-18T18:59:58Z)
Paraphrastic Representations at Scale [134.41025103489224]
私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
論文参考訳（メタデータ） (2021-04-30T16:55:28Z)
The Sockeye 2 Neural Machine Translation Toolkit at AMTA 2020 [21.07292644483764]
Sockeye 2は、Sockye Neural Machine Translation (NMT)ツールキットの近代化および合理化版である。 MXNetのGluon APIを使って、コードベースを単純化する機能もある。
論文参考訳（メタデータ） (2020-08-11T17:42:26Z)
Hybrid Models for Learning to Branch [81.93868699246214]
我々はCPUマシン上で効率的な分岐を行うための新しいハイブリッドアーキテクチャを提案する。提案アーキテクチャは,GNNの表現力と分岐処理のための計算コストの低い多層パーセプトロン(MLP)を組み合わせる。
論文参考訳（メタデータ） (2020-06-26T21:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。