論文の概要: Mixture of ELM based experts with trainable gating network

• arxiv url: http://arxiv.org/abs/2105.11706v1
• Date: Tue, 25 May 2021 07:13:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-27 00:56:59.053353
• Title: Mixture of ELM based experts with trainable gating network
• Title（参考訳）: トレーニング可能なゲーティングネットワークを用いたEMM専門家の混合
• Authors: Laleh Armi, Elham Abbasi, Jamal Zarepour-Ahmadabadi
• Abstract要約: 本研究では,専門家の混在に基づくアンサンブル学習手法を提案する。 MEの構造は、ベースエキスパートとゲーティングネットワークとして多層パーセプトロン(MLP)から構成される。 提案手法では,訓練可能なゲーティングネットワークを用いて専門家の出力を集約する。
• 参考スコア（独自算出の注目度）: 2.320417845168326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture of experts method is a neural network based ensemble learning that has great ability to improve the overall classification accuracy. This method is based on the divide and conquer principle, in which the problem space is divided between several experts by supervisition of gating network. In this paper, we propose an ensemble learning method based on mixture of experts which is named mixture of ELM based experts with trainable gating network (MEETG) to improve the computing cost and to speed up the learning process of ME. The structure of ME consists of multi layer perceptrons (MLPs) as base experts and gating network, in which gradient-based learning algorithm is applied for training the MLPs which is an iterative and time consuming process. In order to overcome on these problems, we use the advantages of extreme learning machine (ELM) for designing the structure of ME. ELM as a learning algorithm for single hidden-layer feed forward neural networks provides much faster learning process and better generalization ability in comparision with some other traditional learning algorithms. Also, in the proposed method a trainable gating network is applied to aggregate the outputs of the experts dynamically according to the input sample. Our experimental results and statistical analysis on 11 benchmark datasets confirm that MEETG has an acceptable performance in classification problems. Furthermore, our experimental results show that the proposed approach outperforms the original ELM on prediction stability and classification accuracy.
• Abstract（参考訳）: mixed of experts methodはニューラルネットワークベースのアンサンブル学習であり、全体的な分類精度を向上させる能力を持っている。 本手法は,ゲーティングネットワークの監督により問題空間を複数の専門家に分割した分割・克服原理に基づいている。 本稿では,elmに基づくエキスパートと学習可能なゲーティングネットワーク(meetg)を混在させた,専門家の混合に基づくアンサンブル学習手法を提案する。 meの構造は、ベースエキスパートとしてのマルチレイヤパーセプトロン(mlps)と、反復的かつ時間の消費プロセスであるmlpのトレーニングに勾配ベースの学習アルゴリズムを適用するゲーティングネットワークで構成される。 これらの問題を克服するために,我々は,MEの構造設計に極端な学習機械(ELM)の利点を用いる。 単一の隠れ層フィードフォワードニューラルネットワークの学習アルゴリズムとしてのEMMは、従来の学習アルゴリズムと比較して、より高速な学習プロセスとより良い一般化能力を提供する。 また,提案手法では, トレーニング可能なゲーティングネットワークを用いて, 入力サンプルに応じて専門家の出力を動的に集約する。 11のベンチマークデータセットに対する実験結果と統計的解析により,MEETGは分類問題において許容できる性能を示した。 さらに,提案手法は,予測安定性と分類精度において,従来のELMよりも優れていることを示す。

関連論文リスト

• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Fast Cerebral Blood Flow Analysis via Extreme Learning Machine [4.373558495838564]
  拡散相関分光法(DCS)を用いた高速かつ高精度な脳血流解析手法を提案する。 半無限層モデルと多層モデルの両方に対する合成データセットを用いて既存のアルゴリズムを評価する。 その結果、ELMは様々なノイズレベルや光学パラメータにわたって高い忠実度を連続的に達成し、堅牢な一般化能力を示し、反復整合アルゴリズムより優れることを示した。
  論文  参考訳（メタデータ） (2024-01-10T23:01:35Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Towards Understanding Mixture of Experts in Deep Learning [95.27215939891511]
  ニューラルネットワーク学習におけるMoE層の性能向上について検討する。 この結果から,基礎となる問題のクラスタ構造と専門家の非線形性は,MoEの成功に欠かせないことが示唆された。
  論文  参考訳（メタデータ） (2022-08-04T17:59:10Z)
• Accelerating Federated Edge Learning via Topology Optimization [41.830942005165625]
  フェデレートエッジラーニング(FEEL)は、プライバシー保護の分散ラーニングを実現するための有望なパラダイムとして考えられている。 ストラグラー装置の存在により、過度の学習時間を消費する。 フェデレーション学習における不均一性問題に対処するために,新しいトポロジ最適化フェデレーション・エッジ・ラーニング(TOFEL)手法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T14:49:55Z)
• Fast Deep Mixtures of Gaussian Process Experts [0.6554326244334868]
  教師付き学習コンテキストにおけるフレキシブルなモデリングには,専門家の混在が不可欠である。 本稿では、ディープニューラルネットワーク(DNN)を用いて、スパースGPから専門家を選択するためのゲーティングネットワークの設計を提案する。 CCR (Cluster-Classify-Regress) と呼ばれる高速なワンパスアルゴリズムを用いて、最大後部推定器(MAP)を極端に高速に近似する。
  論文  参考訳（メタデータ） (2020-06-11T18:52:34Z)
• Hyperspectral Unmixing Network Inspired by Unfolding an Optimization Problem [2.4016406737205753]
  ハイパースペクトル画像(HSI)アンミックスタスクは本質的に逆問題であり、最適化アルゴリズムによってよく解決される。 本稿では,U-ADMM-AENetとU-ADMM-BUNetという2つの新しいネットワークアーキテクチャを提案する。 本研究は,機械学習の文献において,展開された構造が対応する解釈を見つけることを示し,提案手法の有効性をさらに示すものである。
  論文  参考訳（メタデータ） (2020-05-21T18:49:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。