論文の概要: k-Winners-Take-All Ensemble Neural Network

• arxiv url: http://arxiv.org/abs/2401.02092v1
• Date: Thu, 4 Jan 2024 06:40:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-05 15:41:29.548208
• Title: k-Winners-Take-All Ensemble Neural Network
• Title（参考訳）: k-winners-take-allアンサンブルニューラルネットワーク
• Authors: Abien Fred Agarap and Arnulfo P. Azcarraga
• Abstract要約: 独立してではなく、サブネットワークを同時にトレーニングすることで、アンサンブルアプローチを修正します。 そこで我々は、サブネットワークアーキテクチャとして100のニューロンを持つ1つの隠れ層を持つフィードフォワードニューラルネットワークを用いた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Ensembling is one approach that improves the performance of a neural network by combining a number of independent neural networks, usually by either averaging or summing up their individual outputs. We modify this ensembling approach by training the sub-networks concurrently instead of independently. This concurrent training of sub-networks leads them to cooperate with each other, and we refer to them as "cooperative ensemble". Meanwhile, the mixture-of-experts approach improves a neural network performance by dividing up a given dataset to its sub-networks. It then uses a gating network that assigns a specialization to each of its sub-networks called "experts". We improve on these aforementioned ways for combining a group of neural networks by using a k-Winners-Take-All (kWTA) activation function, that acts as the combination method for the outputs of each sub-network in the ensemble. We refer to this proposed model as "kWTA ensemble neural networks" (kWTA-ENN). With the kWTA activation function, the losing neurons of the sub-networks are inhibited while the winning neurons are retained. This results in sub-networks having some form of specialization but also sharing knowledge with one another. We compare our approach with the cooperative ensemble and mixture-of-experts, where we used a feed-forward neural network with one hidden layer having 100 neurons as the sub-network architecture. Our approach yields a better performance compared to the baseline models, reaching the following test accuracies on benchmark datasets: 98.34% on MNIST, 88.06% on Fashion-MNIST, 91.56% on KMNIST, and 95.97% on WDBC.
• Abstract（参考訳）: センスリング(ensembling)は、多くの独立したニューラルネットワークを結合することで、ニューラルネットワークのパフォーマンスを向上させるアプローチのひとつだ。 サブネットワークを独立してトレーニングすることで、このセンスリングアプローチを変更します。 このようなサブネットワークの同時訓練は、互いに協力し合い、それらを「協調的なアンサンブル」と呼ぶ。 一方、mixed-of-expertsアプローチは、与えられたデータセットをサブネットワークに分割することで、ニューラルネットワークのパフォーマンスを向上させる。 次に、"experts"と呼ばれる各サブネットワークに特殊化を割り当てるゲーティングネットワークを使用する。 k-Winners-Take-All (kWTA) アクティベーション関数を用いて、上記のニューラルネットワーク群を結合する方法を改善し、アンサンブル内の各サブネットワークの出力の組み合わせ方法として機能する。 本稿では,このモデルについて,kWTAアンサンブルニューラルネットワーク(kWTA-ENN)と呼ぶ。 kWTA活性化機能により、サブネットワークの喪失ニューロンが抑制され、勝利ニューロンが保持される。 この結果、サブネットワークにはある種の専門化があるが、相互に知識を共有することもできる。 そこで我々は、サブネットワークアーキテクチャとして100のニューロンを持つ1つの隠れ層を持つフィードフォワードニューラルネットワークを用いた。 ベンチマークデータセットでは98.34%がmnist、88.06%がファッションmnist、91.56%がkmnist、95.97%がwdbcであった。

関連論文リスト

• NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance [0.0]
  我々は、トレーニングなしで最適なニューラルネットワークを特定するために、アクティベーションランク(NEAR)によるゼロコストプロキシネットワーク表現を提案する。 このネットワークスコアとNAS-Bench-101とNATS-Bench-SSS/TSSのモデル精度の最先端相関を実証した。
  論文  参考訳（メタデータ） (2024-08-16T14:38:14Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection [10.191597755296163]
  我々は,必要な特徴の組み合わせを効率的に識別する,抽出可能な選択アルゴリズムを開発した。 提案するスパース・インタラクション・アダプティブ・ネットワーク(SIAN)は,単純かつ解釈可能なモデルから完全に接続されたニューラルネットワークへのブリッジを構築する。
  論文  参考訳（メタデータ） (2022-09-19T19:57:17Z)
• Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
  ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。 本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T06:11:21Z)
• Distilled Neural Networks for Efficient Learning to Rank [0.0]
  本稿では, 蒸留法, プルーニング法, 高速行列乗算法を組み合わせて, ニューラルスコアリング時間を高速化する手法を提案する。 2つの公開学習からランクへのデータセットに関する総合的な実験は、新しいアプローチで生成されたニューラルネットワークが、有効性と効率のトレードオフのあらゆる点で競合していることを示している。
  論文  参考訳（メタデータ） (2022-02-22T08:40:18Z)
• AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification [0.9449650062296824]
  本稿では,深層ニューラルネットワークのアンサンブルを生成するための自動アプローチであるAutoDEUQを提案する。 我々は,AutoDEUQが確率論的バックプロパゲーション,モンテカルロのドロップアウト,ディープアンサンブル,分布自由アンサンブル,ハイパーアンサンブルメソッドを多くの回帰ベンチマークで上回ることを示す。
  論文  参考訳（メタデータ） (2021-10-26T09:12:23Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Neural Networks and Value at Risk [59.85784504799224]
  リスクしきい値推定における資産価値のモンテカルロシミュレーションを行う。 株式市場と長期債を試験資産として利用し、ニューラルネットワークについて検討する。 はるかに少ないデータでフィードされたネットワークは、大幅にパフォーマンスが悪くなっています。
  論文  参考訳（メタデータ） (2020-05-04T17:41:59Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。