論文の概要: Ranking Neural Checkpoints

• arxiv url: http://arxiv.org/abs/2011.11200v4
• Date: Sun, 28 Aug 2022 03:17:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 01:36:52.071426
• Title: Ranking Neural Checkpoints
• Title（参考訳）: 神経チェックポイントのランキング
• Authors: Yandong Li, Xuhui Jia, Ruoxin Sang, Yukun Zhu, Bradley Green, Liqiang Wang, Boqing Gong
• Abstract要約: 本稿では、下流タスクへの変換学習のための事前訓練されたディープニューラルネットワーク(DNN)のランキングについて検討する。 ニューラルチェックポイントランキングベンチマーク(NeuCRaB)を構築し,直感的なランキング尺度について検討する。 以上の結果から,チェックポイントによって抽出された特徴の線形分離性は,伝達可能性の強い指標であることが示唆された。
• 参考スコア（独自算出の注目度）: 57.27352551718646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper is concerned with ranking many pre-trained deep neural networks (DNNs), called checkpoints, for the transfer learning to a downstream task. Thanks to the broad use of DNNs, we may easily collect hundreds of checkpoints from various sources. Which of them transfers the best to our downstream task of interest? Striving to answer this question thoroughly, we establish a neural checkpoint ranking benchmark (NeuCRaB) and study some intuitive ranking measures. These measures are generic, applying to the checkpoints of different output types without knowing how the checkpoints are pre-trained on which dataset. They also incur low computation cost, making them practically meaningful. Our results suggest that the linear separability of the features extracted by the checkpoints is a strong indicator of transferability. We also arrive at a new ranking measure, NLEEP, which gives rise to the best performance in the experiments.
• Abstract（参考訳）: 本稿では、ダウンストリームタスクへの転送学習のためのチェックポイントと呼ばれる、事前学習された多くのディープニューラルネットワーク(dnn)をランク付けすることに関する。 DNNの広範な使用により、さまざまなソースから数百のチェックポイントを簡単に収集することができる。 どれが一番関心のある下流のタスクに転送するのですか? この疑問に徹底的に答えるために、ニューラルチェックポイントランキングベンチマーク(NeuCRaB)を構築し、直感的なランキング尺度について検討する。 これらの指標は汎用的であり、どのデータセットでチェックポイントが事前トレーニングされているかを知ることなく、異なる出力型のチェックポイントに適用できる。 また、計算コストも低く、事実上有意義である。 その結果,チェックポイントによって抽出された特徴の線形分離性は移動可能性の強い指標であることが示唆された。 我々はまた、実験において最高のパフォーマンスをもたらす新しいランキング指標であるNLEEPにも到達します。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• SAfER: Layer-Level Sensitivity Assessment for Efficient and Robust Neural Network Inference [20.564198591600647]
  ディープニューラルネットワーク(DNN)は、ほとんどのコンピュータビジョンタスクにおいて優れたパフォーマンスを示す。 自律運転や医療画像などの重要な応用には、その行動の調査も必要である。 DNNの属性は、DNNの予測と入力の関係を研究することである。
  論文  参考訳（メタデータ） (2023-08-09T07:45:51Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• RankDNN: Learning to Rank for Few-shot Learning [70.49494297554537]
  本稿では、画像検索の関連性ランキングをバイナリランキング関係分類として活用する、新しい数ショット学習パイプラインを提案する。 これは、数ショットの学習に関する新しい視点を提供し、最先端の手法を補完する。
  論文  参考訳（メタデータ） (2022-11-28T13:59:31Z)
• Revisiting Checkpoint Averaging for Neural Machine Translation [44.37101354412253]
  チェックポイント平均化は、収束ニューラルネットワーク翻訳モデルの性能を高めるためのシンプルで効果的な方法である。 本研究では,チェックポイント平均化の概念を再考し,いくつかの拡張について考察する。
  論文  参考訳（メタデータ） (2022-10-21T08:29:23Z)
• Continual Prune-and-Select: Class-incremental learning with specialized subnetworks [66.4795381419701]
  CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。 これは、クラス増分学習における第一級の結果である。
  論文  参考訳（メタデータ） (2022-08-09T10:49:40Z)
• CheckSel: Efficient and Accurate Data-valuation Through Online Checkpoint Selection [3.321404824316694]
  本稿では,データアセスメントとサブセット選択の問題に対して,新しい2段階の解を提案する。 フェーズ1は、SGDライクなトレーニングアルゴリズムから代表チェックポイントを選択し、フェーズ2で使用して、近似トレーニングデータ値を推定する。 実験結果から,提案アルゴリズムは試験精度において,最近のベースライン法を最大30%上回る性能を示した。
  論文  参考訳（メタデータ） (2022-03-14T02:06:52Z)
• Ranking and Rejecting of Pre-Trained Deep Neural Networks in Transfer Learning based on Separation Index [0.16058099298620418]
  対象データセットに分離指数(SI)という距離ベース複雑性尺度を適用することにより,事前学習したディープニューラルネットワーク(DNN)のランク付けを行うアルゴリズムを提案する。 提案アルゴリズムの効率性はLinnaeus 5, Breast Cancer Images, COVID-CTの3つの挑戦的データセットを用いて評価した。
  論文  参考訳（メタデータ） (2020-12-26T11:14:12Z)
• Sequential Changepoint Detection in Neural Networks with Checkpoints [11.763229353978321]
  本稿では,オンライン変化点検出と同時モデル学習のためのフレームワークを提案する。 次々に一般化された確率比テストを行うことにより、経時的に変化点を検出する。 オンラインベイズ変化点検出と比較して性能が向上した。
  論文  参考訳（メタデータ） (2020-10-06T21:49:54Z)
• COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization [60.07531696857743]
  2つの目的の交互最小化によるDNNとソフトラベルの共学習 本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T17:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。