論文の概要: Knowledge Evolution in Neural Networks
- arxiv url: http://arxiv.org/abs/2103.05152v1
- Date: Tue, 9 Mar 2021 00:25:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-10 15:11:36.867910
- Title: Knowledge Evolution in Neural Networks
- Title(参考訳): ニューラルネットワークにおける知識進化
- Authors: Ahmed Taha, Abhinav Shrivastava, Larry Davis
- Abstract要約: 比較的小さなデータセットのパフォーマンスを高めるために,進化に触発されたトレーニングアプローチを提案する。
複数の世代のリセット仮説を摂動させることで、フィット仮説の知識を反復的に進化させます。
このアプローチはパフォーマンスを向上させるだけでなく、より小さな推論コストでスリムなネットワークを学習する。
- 参考スコア(独自算出の注目度): 39.52537143009937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning relies on the availability of a large corpus of data (labeled
or unlabeled). Thus, one challenging unsettled question is: how to train a deep
network on a relatively small dataset? To tackle this question, we propose an
evolution-inspired training approach to boost performance on relatively small
datasets. The knowledge evolution (KE) approach splits a deep network into two
hypotheses: the fit-hypothesis and the reset-hypothesis. We iteratively evolve
the knowledge inside the fit-hypothesis by perturbing the reset-hypothesis for
multiple generations. This approach not only boosts performance, but also
learns a slim network with a smaller inference cost. KE integrates seamlessly
with both vanilla and residual convolutional networks. KE reduces both
overfitting and the burden for data collection.
We evaluate KE on various network architectures and loss functions. We
evaluate KE using relatively small datasets (e.g., CUB-200) and randomly
initialized deep networks. KE achieves an absolute 21% improvement margin on a
state-of-the-art baseline. This performance improvement is accompanied by a
relative 73% reduction in inference cost. KE achieves state-of-the-art results
on classification and metric learning benchmarks. Code available at
http://bit.ly/3uLgwYb
- Abstract(参考訳): ディープラーニングは、大規模なデータコーパス(ラベル付きまたはラベルなし)の可用性に依存します。
したがって、未解決の課題の1つは、比較的小さなデータセットでディープネットワークをトレーニングする方法です。
そこで本研究では,比較的小さなデータセットのパフォーマンス向上を目的とした進化型トレーニング手法を提案する。
知識進化(KE)アプローチは、深いネットワークを適合仮説とリセット仮説の2つの仮説に分割する。
複数の世代のリセット仮説を摂動させることで、フィット仮説の知識を反復的に進化させます。
このアプローチはパフォーマンスを向上させるだけでなく、より小さな推論コストでスリムなネットワークを学習する。
keはバニラと残留畳み込みネットワークの両方とシームレスに統合される。
KEはデータ収集の過度な適合と負担を軽減します。
様々なネットワークアーキテクチャと損失関数でKEを評価します。
比較的小さなデータセット(例えばCUB-200)とランダムに初期化したディープネットワークを用いてKEを評価する。
KEは最先端のベースラインで絶対21%の改善マージンを達成する。
この性能改善には、相対的に73%の推論コスト削減が伴う。
KEは分類およびメートル法学習のベンチマークの最先端の結果を達成します。
http://bit.ly/3uLgwYb
関連論文リスト
- Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳(メタデータ) (2024-06-17T12:24:45Z) - DRGCN: Dynamic Evolving Initial Residual for Deep Graph Convolutional
Networks [19.483662490506646]
我々はDRGCN(Residual Graph Convolutional Network)と呼ばれる新しいモデルを提案する。
実験結果から, 深部GCNの過密化問題を効果的に解消できることが示唆された。
我々のモデルはOpen Graph Benchmark (OGB) の大規模ogbn-arxivデータセット上で新しいSOTA結果に達する。
論文 参考訳(メタデータ) (2023-02-10T06:57:12Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳(メタデータ) (2022-12-05T14:47:52Z) - Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
ディープニューラルネットワークが従来の機械学習より優れていることが示されている。
ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
論文 参考訳(メタデータ) (2022-06-27T15:46:05Z) - a novel attention-based network for fast salient object detection [14.246237737452105]
現在の有向物体検出ネットワークにおいて、最も一般的な方法はU字型構造を用いることである。
3つのコントリビューションを持つ新しい深層畳み込みネットワークアーキテクチャを提案する。
提案手法は, 精度を損なうことなく, 原サイズの1/3まで圧縮できることを示した。
論文 参考訳(メタデータ) (2021-12-20T12:30:20Z) - An Experimental Study of the Impact of Pre-training on the Pruning of a
Convolutional Neural Network [0.0]
近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。
ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。
プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
論文 参考訳(メタデータ) (2021-12-15T16:02:15Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳(メタデータ) (2020-12-23T09:33:11Z) - Learning across label confidence distributions using Filtered Transfer
Learning [0.44040106718326594]
本稿では,大きな可変信頼度データセットを持つノイズの多いデータシステムにおいて,予測能力を向上させるための伝達学習手法を提案する。
本稿では、複数の階層のデータ信頼度を個別のタスクとして定義する、FTL(Filted Transfer Learning)と呼ばれるディープニューラルネットワーク手法を提案する。
FTLを用いてラベル信頼度分布を段階的に学習すると、単一の信頼範囲でトレーニングされたディープニューラルネットワークモデルよりも高いパフォーマンスが得られることを示す。
論文 参考訳(メタデータ) (2020-06-03T21:00:11Z) - OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax
Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。
そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。
実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-04-20T02:41:01Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。