論文の概要: Union-net: A deep neural network model adapted to small data sets
- arxiv url: http://arxiv.org/abs/2012.13044v1
- Date: Thu, 24 Dec 2020 00:44:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 08:18:42.660954
- Title: Union-net: A deep neural network model adapted to small data sets
- Title（参考訳）: Union-net: 小さなデータセットに適応したディープニューラルネットワークモデル
- Authors: Qingfang He, Guang Cheng and Zhiying Lin
- Abstract要約: union convolutionは、浅いネットワーク構造を持つ軽量深層ネットワークモデルunion-netである。
union-netモデルは、大きなデータセットと小さなデータセットの分類でうまく機能する。
日々のアプリケーションシナリオにおいて高い実用的価値があります。
- 参考スコア（独自算出の注目度）: 15.092537868071025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In real applications, generally small data sets can be obtained. At present,
most of the practical applications of machine learning use classic models based
on big data to solve the problem of small data sets. However, the deep neural
network model has complex structure, huge model parameters, and training
requires more advanced equipment, which brings certain difficulties to the
application. Therefore, this paper proposes the concept of union convolution,
designing a light deep network model union-net with a shallow network structure
and adapting to small data sets. This model combines convolutional network
units with different combinations of the same input to form a union module.
Each union module is equivalent to a convolutional layer. The serial input and
output between the 3 modules constitute a "3-layer" neural network. The output
of each union module is fused and added as the input of the last convolutional
layer to form a complex network with a 4-layer network structure. It solves the
problem that the deep network model network is too deep and the transmission
path is too long, which causes the loss of the underlying information
transmission. Because the model has fewer model parameters and fewer channels,
it can better adapt to small data sets. It solves the problem that the deep
network model is prone to overfitting in training small data sets. Use the
public data sets cifar10 and 17flowers to conduct multi-classification
experiments. Experiments show that the Union-net model can perform well in
classification of large data sets and small data sets. It has high practical
value in daily application scenarios. The model code is published at
https://github.com/yeaso/union-net
- Abstract（参考訳）: 実際の応用では、一般に小さなデータセットが得られる。
現在、機械学習の実用的応用のほとんどは、ビッグデータに基づく古典的なモデルを使用して、小さなデータセットの問題を解決する。
しかし、ディープニューラルネットワークモデルは複雑な構造を持ち、巨大なモデルパラメータを持ち、トレーニングはより高度な機器を必要とするため、アプリケーションにある種の困難をもたらす。
そこで本稿では,結合畳み込みの概念を提案し,浅いネットワーク構造を持つ軽量深層ネットワークモデルユニオンネットを設計し,小さなデータセットに対応する。
このモデルは、畳み込みネットワークユニットと、同じ入力の異なる組み合わせを組み合わせてユニオンモジュールを形成する。
各結合加群は畳み込み層と同値である。
3つのモジュール間のシリアル入力と出力は「3層」ニューラルネットワークを構成する。
各ユニオンモジュールの出力は、最後の畳み込み層の入力として融合付加され、4層ネットワーク構造を有する複雑なネットワークを形成する。
ディープ・ネットワーク・モデル・ネットワークは深く、伝送経路が長すぎるため、基礎となる情報伝達が失われてしまうという問題を解決する。
モデルはモデルパラメータが少なく、チャネルも少ないため、小さなデータセットへの適応性が向上する。
これは、深層ネットワークモデルが小さなデータセットのトレーニングにおいて過剰に適合しやすいという問題を解決する。
公開データセット cifar10 と 17flowers を使用して、多重分類実験を行う。
実験により、Union-netモデルは大きなデータセットと小さなデータセットの分類においてうまく機能することが示された。
日々のアプリケーションシナリオにおいて高い実用的価値があります。
モデルはhttps://github.com/yeaso/union-netで公開される。
関連論文リスト
- Subnetwork-to-go: Elastic Neural Network with Dynamic Training and
Customizable Inference [16.564868336748503]
本稿では,大規模ネットワークを訓練し,モデルサイズや複雑性の制約を考慮し,そのサブネットワークを柔軟に抽出する簡単な方法を提案する。
音源分離モデルによる実験結果から,提案手法は,異なるサブネットワークサイズと複雑度をまたいだ分離性能を効果的に向上できることが示された。
論文 参考訳（メタデータ） (2023-12-06T12:40:06Z) - Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。
フェデレートラーニングにおいて最も顕著に用いられている。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳（メタデータ） (2023-07-13T09:39:10Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - Secure Forward Aggregation for Vertical Federated Neural Networks [25.059312670812215]
我々は、垂直フェデレートラーニング(VFL)におけるよく知られたニューラルネットワークフレームワークであるSplitNNについて研究する。
SplitNNは、生データの代わりに変換データを使ってモデルを共同で訓練するため、モデルパフォーマンスの損失に悩まされる。
セキュリティフォワード・アグリゲーション(SFA)と呼ばれる新しいニューラルネットワークプロトコルをVFLで提案する。
実験の結果,SFAのネットワークはデータセキュリティと高モデル性能の両方を実現していることがわかった。
論文 参考訳（メタデータ） (2022-06-28T03:13:26Z) - Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
ディープニューラルネットワークが従来の機械学習より優れていることが示されている。
ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
論文 参考訳（メタデータ） (2022-06-27T15:46:05Z) - Network Augmentation for Tiny Deep Learning [73.57192520534585]
ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。
画像分類と物体検出におけるNetAugの有効性を示す。
論文 参考訳（メタデータ） (2021-10-17T18:48:41Z) - MutualNet: Adaptive ConvNet via Mutual Learning from Different Model
Configurations [51.85020143716815]
MutualNetは、リソース制約の多様なセットで実行できる単一のネットワークを訓練するために提案します。
提案手法は,様々なネットワーク幅と入力解像度を持つモデル構成のコホートを訓練する。
MutualNetは、さまざまなネットワーク構造に適用できる一般的なトレーニング方法論です。
論文 参考訳（メタデータ） (2021-05-14T22:30:13Z) - FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning [23.726336635748783]
フェデレートラーニング(Federated Learning)は、ユーザのローカルにトレーニングされたモデルにアクセスして、自身のデータではなく、強力なグローバルモデルを協調的にトレーニングすることを目的としている。
したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。
我々は,ハイクオリティなグローバルモデルをサンプリングすることによってベイズ推論の観点から,FedBEという新しい集約アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-04T01:18:25Z) - OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax
Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。
そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。
実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-04-20T02:41:01Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。