論文の概要: Ranking and Rejecting of Pre-Trained Deep Neural Networks in Transfer
Learning based on Separation Index
- arxiv url: http://arxiv.org/abs/2012.13717v1
- Date: Sat, 26 Dec 2020 11:14:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 02:39:13.314328
- Title: Ranking and Rejecting of Pre-Trained Deep Neural Networks in Transfer
Learning based on Separation Index
- Title（参考訳）: 分離指数に基づく伝達学習における事前学習深層ニューラルネットワークのランク付けと排除
- Authors: Mostafa Kalhor, Ahmad Kalhor, and Mehdi Rahmani
- Abstract要約: 対象データセットに分離指数(SI)という距離ベース複雑性尺度を適用することにより,事前学習したディープニューラルネットワーク(DNN)のランク付けを行うアルゴリズムを提案する。
提案アルゴリズムの効率性はLinnaeus 5, Breast Cancer Images, COVID-CTの3つの挑戦的データセットを用いて評価した。
- 参考スコア（独自算出の注目度）: 0.16058099298620418
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated ranking of pre-trained Deep Neural Networks (DNNs) reduces the
required time for selecting optimal pre-trained DNN and boost the
classification performance in transfer learning. In this paper, we introduce a
novel algorithm to rank pre-trained DNNs by applying a straightforward
distance-based complexity measure named Separation Index (SI) to the target
dataset. For this purpose, at first, a background about the SI is given and
then the automated ranking algorithm is explained. In this algorithm, the SI is
computed for the target dataset which passes from the feature extracting parts
of pre-trained DNNs. Then, by descending sort of the computed SIs, the
pre-trained DNNs are ranked, easily. In this ranking method, the best DNN makes
maximum SI on the target dataset and a few pre-trained DNNs may be rejected in
the case of their sufficiently low computed SIs. The efficiency of the proposed
algorithm is evaluated by using three challenging datasets including Linnaeus
5, Breast Cancer Images, and COVID-CT. For the two first case studies, the
results of the proposed algorithm exactly match with the ranking of the trained
DNNs by the accuracy on the target dataset. For the third case study, despite
using different preprocessing on the target data, the ranking of the algorithm
has a high correlation with the ranking resulted from classification accuracy.
- Abstract（参考訳）: 事前学習型ディープニューラルネットワーク(DNN)の自動ランキングは、最適な事前学習型DNNを選択するために必要な時間を短縮し、転送学習における分類性能を高める。
本稿では,対象データセットに分離指数(SI)という簡単な距離に基づく複雑性尺度を適用し,事前学習したDNNをランク付けするアルゴリズムを提案する。
この目的のために、まず、SIに関する背景が与えられ、その後、自動ランキングアルゴリズムが説明される。
このアルゴリズムでは、事前訓練されたDNNの特徴抽出部分から通過するターゲットデータセットに対してSIを演算する。
そして、計算されたSIを下位にすることで、事前訓練されたDNNを簡単にランク付けする。
このランキング法では、最高のDNNがターゲットデータセット上で最大SIを出力し、十分に低計算のSIの場合、いくつかの事前訓練されたDNNを拒否することができる。
提案アルゴリズムの効率は、Linnaeus 5, Breast Cancer Images, COVID-CTの3つの挑戦的データセットを用いて評価される。
第3のケーススタディでは,対象データに対する前処理が異なっていたにもかかわらず,アルゴリズムのランク付けは分類精度から得られたランキングと高い相関性を有する。
関連論文リスト
- Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。
動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。
以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
論文 参考訳（メタデータ） (2024-08-08T16:48:33Z) - SA-CNN: Application to text categorization issues using simulated
annealing-based convolutional neural network optimization [0.0]
畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。
テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T14:27:34Z) - Unsupervised Learning of Initialization in Deep Neural Networks via
Maximum Mean Discrepancy [74.34895342081407]
本稿では,入力データに対する優れた初期化を求めるための教師なしアルゴリズムを提案する。
まず、パラメータ空間における各パラメータ構成が、d-way分類の特定の下流タスクに対応することに気付く。
次に、学習の成功は、初期パラメータの近傍で下流タスクがいかに多様であるかに直接関連していると推測する。
論文 参考訳（メタデータ） (2023-02-08T23:23:28Z) - RankDNN: Learning to Rank for Few-shot Learning [70.49494297554537]
本稿では、画像検索の関連性ランキングをバイナリランキング関係分類として活用する、新しい数ショット学習パイプラインを提案する。
これは、数ショットの学習に関する新しい視点を提供し、最先端の手法を補完する。
論文 参考訳（メタデータ） (2022-11-28T13:59:31Z) - Towards Better Out-of-Distribution Generalization of Neural Algorithmic
Reasoning Tasks [51.8723187709964]
ニューラルネットワーク推論タスクのOOD一般化について検討する。
目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
論文 参考訳（メタデータ） (2022-11-01T18:33:20Z) - Training Algorithm Matters for the Performance of Neural Network
Potential [4.774810604472842]
適応モーメント推定アルゴリズム(Adam)と拡張カルマンフィルタアルゴリズム(EKF)の2つの人気トレーニングアルゴリズムの性能を比較した。
その結果,EKFで訓練したNNPは,Adamと比較して伝達性が高く,学習率に敏感ではないことがわかった。
論文 参考訳（メタデータ） (2021-09-08T16:48:33Z) - Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。
従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。
ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
論文 参考訳（メタデータ） (2021-05-27T09:27:42Z) - Evaluating Deep Neural Network Ensembles by Majority Voting cum
Meta-Learning scheme [3.351714665243138]
新しいデータインスタンスのために,7つの独立したディープニューラルネットワーク(DNN)のアンサンブルを提案する。
残りのサンプルからブートストラップサンプリングによってデータの7分の1を削除して補充する。
この論文のすべてのアルゴリズムは5つのベンチマークデータセットでテストされている。
論文 参考訳（メタデータ） (2021-05-09T03:10:56Z) - Gradient-only line searches to automatically determine learning rates
for a variety of stochastic training algorithms [0.0]
Inexact (GOLS-I) である Gradient-Only Line Search を用いて、ニューラルネットワークトレーニングアルゴリズムの選択のための学習率スケジュールを決定する。
GOLS-Iの学習率スケジュールは、手動で調整された学習率、最適化アルゴリズム7以上、ニューラルネットワークアーキテクチャ3タイプ、データセット23、損失関数2つと競合する。
論文 参考訳（メタデータ） (2020-06-29T08:59:31Z) - File Classification Based on Spiking Neural Networks [0.5065947993017157]
スパイクニューラルネットワーク(SNN)に基づく大規模データセットにおけるファイル分類システムを提案する。
提案システムは、推論タスクに対する古典的機械学習アルゴリズムの代替として有効なものである可能性がある。
論文 参考訳（メタデータ） (2020-04-08T11:50:29Z) - Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。
ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。
連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-04T06:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。