Fugu-MT 論文翻訳(概要): Fast Feedforward Networks

論文の概要: Fast Feedforward Networks

arxiv url: http://arxiv.org/abs/2308.14711v1
Date: Mon, 28 Aug 2023 17:11:41 GMT
ステータス: 翻訳完了
システム内更新日: 2023-08-29 13:07:40.823444
Title: Fast Feedforward Networks
Title（参考訳）: 高速フィードフォワードネットワーク
Abstract要約: FFFは, フィードフォワードネットワークに比較して, 推定コストの指数的に高い性能を示すことを示す。我々は、フル幅の変種に対してわずか5.8%の性能低下のコストで単一ニューロン推論を行うように、視覚変換器を訓練する。
参考スコア（独自算出の注目度）: 28.852535686791406
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We break the linear link between the layer size and its inference cost by introducing the fast feedforward (FFF) architecture, a logarithmic-time alternative to feedforward networks. We show that FFFs give comparable performance to feedforward networks at an exponential fraction of their inference cost, are quicker to deliver performance compared to mixture-of-expert networks, and can readily take the place of either in transformers. Pushing FFFs to the absolute limit, we train a vision transformer to perform single-neuron inferences at the cost of only 5.8% performance decrease against the full-width variant. Our implementation is available as a Python package; just use "pip install fastfeedforward".
Abstract（参考訳）: 我々は、フィードフォワードネットワークに代わる対数時間である高速フィードフォワード(FFF)アーキテクチャを導入することにより、レイヤーサイズと推論コストの線形リンクを断ち切る。提案手法では,FFFはフィードフォワードネットワークに比例する性能を推論コストの指数的に向上し,熟練ネットワークよりも高速に性能を発揮でき,トランスフォーマーのどちらにでも容易に取って代わることができることを示す。 FFFを絶対限まで押し上げ、フル幅の変種に対してわずか5.8%の性能低下のコストで単一ニューロン推論を行うように、視覚変換器を訓練する。実装はPythonパッケージとして利用可能で、"pip install fastfeedforward"を使用するだけです。

関連論文リスト

ViT-FREE: Efficient Face Recognition via Early Exiting and Synthetic Adaptation [16.250163286204593]
視覚変換器(ViT)はコンピュータビジョンにおいて大きな注目を集めており、顔認識(FR)の強い可能性を示している。本研究は, 高速FR推論のための簡易かつ効果的なトレーニングフリー戦略として, 事前学習したViTの早期退避について検討する。バックボーンモデルの変更や再トレーニングをすることなく、中間表現から直接顔認証を可能にするマルチエグジットフレームワークであるViT-FREEを紹介する。
論文参考訳（メタデータ） (2026-06-10T12:46:39Z)
Flash Multi-Head Feed-Forward Network [51.82159978122374]
マルチヘッドFFN(MH-FFN)は、単一ヘッドアテンションとFFNの構造的類似性によって動機付けられる。 MH-FFNは、ヘッドカウントによるメモリ消費のスケーリングと、中間サイズと固定ヘッド次元の間の不均衡比の2つの課題に直面している。我々はFlash Multi-Head FFN (FlashMHF) を提案し、I/O対応の核計算出力はFlashAttentionと同様のオンライン出力であり、動的に重み付けされた並列サブネットワークを用いた設計である。
論文参考訳（メタデータ） (2025-12-07T20:50:20Z)
Sprint: Sparse-Dense Residual Fusion for Efficient Diffusion Transformers [91.02299679350834]
Diffusion Transformer (DiTs) は最先端の生成性能を提供するが、シークエンス長の2次トレーニングコストは大規模な事前訓練を不当に高価にする。本稿では,高効率拡散変換器のためのスパース-デンス残差核融合法を提案する。
論文参考訳（メタデータ） (2025-10-24T19:29:55Z)
Adaptive Spatial Goodness Encoding: Advancing and Scaling Forward-Forward Learning Without Backpropagation [5.092009068303438]
我々は、畳み込みニューラルネットワーク(CNN)に適した、新しいフォワードフォワード(FF)ベースのトレーニングフレームワークを提案する。 ASGEは、各層における空間的に認識された良さの反感をマップで計算し、レイヤ単位での監視を可能にする。 FFベースのトレーニングが最初に成功したのはImageNetデータセットで、Top-1とTop-5のアキュラシーは26.21%と47.49%である。
論文参考訳（メタデータ） (2025-09-15T19:38:32Z)
Model Parallelism With Subnetwork Data Parallelism [21.914077370806016]
大規模な大規模ニューラルネットワークの事前トレーニングは、アクセラレータに大量のメモリ要求を課し、しばしば高価な通信を必要とする。本稿では,分散トレーニングフレームワークであるSubnetwork Data Parallelism(SDP)を紹介する。本研究では,不偏勾配を維持するために下位段階のみに空間性を適用した後方マスキングと,前方パスのパラメータを除去してより高効率なゲインを実現する前方マスキングの2つの相補的なマスキング方式について検討する。
論文参考訳（メタデータ） (2025-07-11T21:25:11Z)
FastFLUX: Pruning FLUX with Block-wise Replacement and Sandwich Training [26.162971280828046]
本稿では,FLUXの推論効率を向上させるアーキテクチャレベルのプルーニングフレームワークであるFastFLUXを提案する。中心となるのはBlock-wise Replacement with Linear Layers (BRLL) 法であり、ResBlocksの構造的に複雑な残枝を軽量な線形層に置き換えている。実験の結果,FastFLUXは定性評価と定量的評価の両方で高画質を維持しつつ,20%の階層プルーニングでも推論速度を大幅に向上していることがわかった。
論文参考訳（メタデータ） (2025-06-10T20:48:30Z)
RePaViT: Scalable Vision Transformer Acceleration via Structural Reparameterization on Feedforward Network Layers [14.876863939653548]
我々は、注意層ではなく、フィードフォワードネットワーク(FFN)層が視覚変換器(ViT)の推論遅延の主な要因であることを明らかにした。本研究では,テスト中の効率的なFFN層に対するポストトレーニング後構造的再パラメータ化を容易にする新しいチャネルアイドル機構を提案する。
論文参考訳（メタデータ） (2025-05-28T00:27:18Z)
Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node [49.08777822540483]
高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
論文参考訳（メタデータ） (2024-05-27T05:06:24Z)
Exponentially Faster Language Modelling [28.852535686791406]
提案するUltraFastBERTは、類似のBERTモデルと同等に動作しながら、推論中に0.3%のニューロンを使用するBERT変異体である。最適化されたベースラインフィードフォワード実装よりも78倍高速化されたハイレベルCPUコードと、同等のバッチフィードフォワード推論よりも40倍高速化されたPyTorch実装を提供する。
論文参考訳（メタデータ） (2023-11-15T18:42:50Z)
Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
論文参考訳（メタデータ） (2023-11-01T16:37:00Z)
MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
論文参考訳（メタデータ） (2023-04-25T05:44:50Z)
Pruning Very Deep Neural Network Channels for Efficient Inference [6.497816402045099]
トレーニングされたCNNモデルを用いて,各層を効果的にプルーする反復的2段階アルゴリズムを提案する。 VGG-16は5倍のスピードアップを実現し、エラーはわずか0.3%増加した。提案手法は,ResNet,Xceptionなどの現代のネットワークを高速化し,それぞれ2倍のスピードアップで1.4%,1.0%の精度損失を被る。
論文参考訳（メタデータ） (2022-11-14T06:48:33Z)
Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文参考訳（メタデータ） (2021-12-18T02:26:38Z)
Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文参考訳（メタデータ） (2021-08-02T08:21:44Z)
Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文参考訳（メタデータ） (2021-06-20T13:51:18Z)
UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration [24.42067007684169]
深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。 CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
論文参考訳（メタデータ） (2020-10-03T01:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。