論文の概要: Fast Feedforward Networks

• arxiv url: http://arxiv.org/abs/2308.14711v1
• Date: Mon, 28 Aug 2023 17:11:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 13:07:40.823444
• Title: Fast Feedforward Networks
• Title（参考訳）: 高速フィードフォワードネットワーク
• Authors: Peter Belcak and Roger Wattenhofer
• Abstract要約: FFFは, フィードフォワードネットワークに比較して, 推定コストの指数的に高い性能を示すことを示す。 我々は、フル幅の変種に対してわずか5.8%の性能低下のコストで単一ニューロン推論を行うように、視覚変換器を訓練する。
• 参考スコア（独自算出の注目度）: 28.852535686791406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We break the linear link between the layer size and its inference cost by introducing the fast feedforward (FFF) architecture, a logarithmic-time alternative to feedforward networks. We show that FFFs give comparable performance to feedforward networks at an exponential fraction of their inference cost, are quicker to deliver performance compared to mixture-of-expert networks, and can readily take the place of either in transformers. Pushing FFFs to the absolute limit, we train a vision transformer to perform single-neuron inferences at the cost of only 5.8% performance decrease against the full-width variant. Our implementation is available as a Python package; just use "pip install fastfeedforward".
• Abstract（参考訳）: 我々は、フィードフォワードネットワークに代わる対数時間である高速フィードフォワード(FFF)アーキテクチャを導入することにより、レイヤーサイズと推論コストの線形リンクを断ち切る。 提案手法では,FFFはフィードフォワードネットワークに比例する性能を推論コストの指数的に向上し,熟練ネットワークよりも高速に性能を発揮でき,トランスフォーマーのどちらにでも容易に取って代わることができることを示す。 FFFを絶対限まで押し上げ、フル幅の変種に対してわずか5.8%の性能低下のコストで単一ニューロン推論を行うように、視覚変換器を訓練する。 実装はPythonパッケージとして利用可能で、"pip install fastfeedforward"を使用するだけです。

関連論文リスト

• Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node [49.08777822540483]
  高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。 本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
  論文  参考訳（メタデータ） (2024-05-27T05:06:24Z)
• Exponentially Faster Language Modelling [28.852535686791406]
  提案するUltraFastBERTは、類似のBERTモデルと同等に動作しながら、推論中に0.3%のニューロンを使用するBERT変異体である。 最適化されたベースラインフィードフォワード実装よりも78倍高速化されたハイレベルCPUコードと、同等のバッチフィードフォワード推論よりも40倍高速化されたPyTorch実装を提供する。
  論文  参考訳（メタデータ） (2023-11-15T18:42:50Z)
• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
  MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。 最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
  論文  参考訳（メタデータ） (2023-04-25T05:44:50Z)
• Pruning Very Deep Neural Network Channels for Efficient Inference [6.497816402045099]
  トレーニングされたCNNモデルを用いて,各層を効果的にプルーする反復的2段階アルゴリズムを提案する。 VGG-16は5倍のスピードアップを実現し、エラーはわずか0.3%増加した。 提案手法は,ResNet,Xceptionなどの現代のネットワークを高速化し,それぞれ2倍のスピードアップで1.4%,1.0%の精度損失を被る。
  論文  参考訳（メタデータ） (2022-11-14T06:48:33Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration [24.42067007684169]
  深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。 それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。 CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
  論文  参考訳（メタデータ） (2020-10-03T01:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。