論文の概要: Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node
- arxiv url: http://arxiv.org/abs/2405.16836v1
- Date: Mon, 27 May 2024 05:06:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 17:00:31.497159
- Title: Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node
- Title(参考訳): ロードバランシングとマスタリーフノードを備えた高速フィードフォワードネットワークの実現
- Authors: Andreas Charalampopoulos, Nikolas Chatzis, Foivos Ntoulas-Panagiotopoulos, Charilaos Papaioannou, Alexandros Potamianos,
- Abstract要約: 高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。
本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
- 参考スコア(独自算出の注目度): 49.08777822540483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fast feedforward networks (FFFs) are a class of neural networks that exploit the observation that different regions of the input space activate distinct subsets of neurons in wide networks. FFFs partition the input space into separate sections using a differentiable binary tree of neurons and during inference descend the binary tree in order to improve computational efficiency. Inspired by Mixture of Experts (MoE) research, we propose the incorporation of load balancing and Master Leaf techniques into the FFF architecture to improve performance and simplify the training process. We reproduce experiments found in literature and present results on FFF models enhanced using these techniques. The proposed architecture and training recipe achieves up to 16.3% and 3% absolute classification accuracy increase in training and test accuracy, respectively, compared to the original FFF architecture. Additionally, we observe a smaller variance in the results compared to those reported in prior research. These findings demonstrate the potential of integrating MoE-inspired techniques into FFFs for developing more accurate and efficient models.
- Abstract(参考訳): 高速フィードフォワードネットワーク(FFFs)は、入力空間の異なる領域が広いネットワーク内のニューロンの異なるサブセットを活性化する観察を利用するニューラルネットワークのクラスである。
FFFは、入力空間をニューロンの微分可能な二分木を用いて分割し、推論中に二分木を降下させ、計算効率を向上させる。
筆者らは,Mixture of Experts (MoE) 研究に触発され,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能の向上とトレーニングプロセスの簡素化を図る。
文献で見いだされた実験を再現し、これらの手法を用いて強化されたFFFモデルに関する結果を示す。
提案したアーキテクチャとトレーニングのレシピは、元のFFFアーキテクチャと比較して、トレーニングとテストの精度が最大16.3%、絶対的な分類精度が3%向上する。
また, 従来研究で報告されていた結果に比べて, 結果のばらつきは小さい。
これらの結果は、より正確で効率的なモデルを開発するために、MoEにインスパイアされた技術をFFFに統合する可能性を示している。
関連論文リスト
- LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。
本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。
LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
論文 参考訳(メタデータ) (2024-07-13T16:09:45Z) - Enhancing Out-of-Distribution Detection with Multitesting-based Layer-wise Feature Fusion [11.689517005768046]
アウト・オブ・ディストリビューション(Out-of-distriion)サンプルは、トレーニング分布と比較して、局所的またはグローバルな特徴の変化を示す可能性がある。
本稿では,新しいフレームワーク,Multitesting-based Layer-wise Out-of-Distribution (OOD) を提案する。
本手法は, ベースライン法と比較して, 分布外検出の性能を効果的に向上させる。
論文 参考訳(メタデータ) (2024-03-16T04:35:04Z) - Convolutional Channel-wise Competitive Learning for the Forward-Forward
Algorithm [5.1246638322893245]
深層ニューラルネットワークのトレーニングに一般的に使用されるバックプロパゲーション(BP)の問題を軽減するために,フォワードフォワード(FF)アルゴリズムが提案されている。
我々は、画像分類タスクにおける畳み込みニューラルネットワークの文脈において、チャネルワイズ競争学習を活用することにより、FFの主な考え方を取り入れ、それらを改善する。
MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100の試験誤差は0.58%, 7.69%, 21.89%, 48.77%であった。
論文 参考訳(メタデータ) (2023-12-19T23:48:43Z) - FaFCNN: A General Disease Classification Framework Based on Feature
Fusion Neural Networks [4.097623533226476]
本稿では,機能認識型統合相関ニューラルネットワーク (FaFCNN) を提案する。
実験結果から,事前学習による強化特徴を用いた訓練により,無作為森林法よりも高い性能向上が得られた。
論文 参考訳(メタデータ) (2023-07-24T04:23:08Z) - Kernel function impact on convolutional neural networks [10.98068123467568]
畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。
より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。
完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
論文 参考訳(メタデータ) (2023-02-20T19:57:01Z) - Deep Frequency Filtering for Domain Generalization [55.66498461438285]
Deep Neural Networks(DNN)は、学習プロセスにおいて、いくつかの周波数成分を優先する。
本稿では、ドメイン一般化可能な特徴を学習するためのDeep Frequency Filtering (DFF)を提案する。
提案したDFFをベースラインに適用すると,ドメインの一般化タスクにおける最先端の手法よりも優れることを示す。
論文 参考訳(メタデータ) (2022-03-23T05:19:06Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳(メタデータ) (2021-12-04T18:07:47Z) - Improving Sample Efficiency with Normalized RBF Kernels [0.0]
本稿では,正規化されたラジアル基底関数(RBF)カーネルを用いたニューラルネットワークをトレーニングして,より優れたサンプル効率を実現する方法について検討する。
この種の出力層は、どのようにしてクラスがコンパクトで適切に分離された埋め込み空間を見つけるかを示す。
CIFAR-10とCIFAR-100の実験により、正規化されたカーネルを出力層として持つネットワークは、より高いサンプリング効率、高いコンパクト性、そして良好な分離性が得られることが示された。
論文 参考訳(メタデータ) (2020-07-30T11:40:29Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳(メタデータ) (2020-06-18T08:23:02Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳(メタデータ) (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。