Fugu-MT 論文翻訳(概要): Fast Feedforward Networks

論文の概要: Fast Feedforward Networks

arxiv url: http://arxiv.org/abs/2308.14711v2
Date: Mon, 18 Sep 2023 17:50:21 GMT
ステータス: 処理完了
システム内更新日: 2023-09-19 22:26:29.320074
Title: Fast Feedforward Networks
Title（参考訳）: 高速フィードフォワードネットワーク
Authors: Peter Belcak and Roger Wattenhofer
Abstract要約: 我々は,高速フィードフォワード(FFF)アーキテクチャを導入することにより,層の大きさと推論コストの線形リンクを断ち切る。我々はFFFがフィードフォワードネットワークよりも最大220倍高速で、エキスパートネットワークより最大6倍高速であり、ノイズのない条件付き実行によるエキスパートの混合よりも優れたトレーニング特性を示すことを示した。
参考スコア（独自算出の注目度）: 28.852535686791406
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We break the linear link between the layer size and its inference cost by introducing the fast feedforward (FFF) architecture, a log-time alternative to feedforward networks. We demonstrate that FFFs are up to 220x faster than feedforward networks, up to 6x faster than mixture-of-experts networks, and exhibit better training properties than mixtures of experts thanks to noiseless conditional execution. Pushing FFFs to the limit, we show that they can use as little as 1% of layer neurons for inference in vision transformers while preserving 94.2% of predictive performance.
Abstract（参考訳）: 我々は,高速フィードフォワード(FFF)アーキテクチャを導入することで,層の大きさと推論コストの線形リンクを断ち切る。我々はFFFがフィードフォワードネットワークよりも最大220倍高速で、エキスパートネットワークより最大6倍高速であり、ノイズのない条件付き実行によるエキスパートの混合よりも優れたトレーニング特性を示すことを示した。 FFFを限界まで押し上げれば、予測性能の94.2%を保ちながら、視覚トランスフォーマーの推論に1%の層ニューロンを使用できることを示す。

関連論文リスト

Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node [49.08777822540483]
高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
論文参考訳（メタデータ） (2024-05-27T05:06:24Z)
Exponentially Faster Language Modelling [28.852535686791406]
提案するUltraFastBERTは、類似のBERTモデルと同等に動作しながら、推論中に0.3%のニューロンを使用するBERT変異体である。最適化されたベースラインフィードフォワード実装よりも78倍高速化されたハイレベルCPUコードと、同等のバッチフィードフォワード推論よりも40倍高速化されたPyTorch実装を提供する。
論文参考訳（メタデータ） (2023-11-15T18:42:50Z)
Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
論文参考訳（メタデータ） (2023-11-01T16:37:00Z)
MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
論文参考訳（メタデータ） (2023-04-25T05:44:50Z)
Pruning Very Deep Neural Network Channels for Efficient Inference [6.497816402045099]
トレーニングされたCNNモデルを用いて,各層を効果的にプルーする反復的2段階アルゴリズムを提案する。 VGG-16は5倍のスピードアップを実現し、エラーはわずか0.3%増加した。提案手法は,ResNet,Xceptionなどの現代のネットワークを高速化し,それぞれ2倍のスピードアップで1.4%,1.0%の精度損失を被る。
論文参考訳（メタデータ） (2022-11-14T06:48:33Z)
Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文参考訳（メタデータ） (2021-12-18T02:26:38Z)
Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文参考訳（メタデータ） (2021-08-02T08:21:44Z)
Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文参考訳（メタデータ） (2021-06-20T13:51:18Z)
UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration [24.42067007684169]
深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。 CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
論文参考訳（メタデータ） (2020-10-03T01:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。