論文の概要: Non-binary deep transfer learning for imageclassification
- arxiv url: http://arxiv.org/abs/2107.08585v1
- Date: Mon, 19 Jul 2021 02:34:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-21 00:59:19.423249
- Title: Non-binary deep transfer learning for imageclassification
- Title（参考訳）: 画像分類のためのNon-binary Deep Transfer Learning
- Authors: Jo Plested, Xuyang Shen, and Tom Gedeon
- Abstract要約: コンピュータビジョンタスクの現在の標準は、ImageNetのような大規模な画像分類データセットで事前訓練された重みを微調整することである。
転送学習と転送学習の応用は、厳密に二分される傾向にある。
L2SPとL2正規化を組み合わせたノンバイナリトランスファー学習法を提案する。
- 参考スコア（独自算出の注目度）: 1.858151490268935
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The current standard for a variety of computer vision tasks using smaller
numbers of labelled training examples is to fine-tune from weights pre-trained
on a large image classification dataset such as ImageNet. The application of
transfer learning and transfer learning methods tends to be rigidly binary. A
model is either pre-trained or not pre-trained. Pre-training a model either
increases performance or decreases it, the latter being defined as negative
transfer. Application of L2-SP regularisation that decays the weights towards
their pre-trained values is either applied or all weights are decayed towards
0. This paper re-examines these assumptions. Our recommendations are based on
extensive empirical evaluation that demonstrate the application of a non-binary
approach to achieve optimal results. (1) Achieving best performance on each
individual dataset requires careful adjustment of various transfer learning
hyperparameters not usually considered, including number of layers to transfer,
different learning rates for different layers and different combinations of
L2SP and L2 regularization. (2) Best practice can be achieved using a number of
measures of how well the pre-trained weights fit the target dataset to guide
optimal hyperparameters. We present methods for non-binary transfer learning
including combining L2SP and L2 regularization and performing non-traditional
fine-tuning hyperparameter searches. Finally we suggest heuristics for
determining the optimal transfer learning hyperparameters. The benefits of
using a non-binary approach are supported by final results that come close to
or exceed state of the art performance on a variety of tasks that have
traditionally been more difficult for transfer learning.
- Abstract（参考訳）: ラベル付きトレーニングの少ない例を使ったコンピュータビジョンタスクの現在の標準は、ImageNetのような大規模な画像分類データセットで事前トレーニングされた重みから微調整することである。
転送学習と転送学習の応用は、厳密に二分される傾向にある。
モデルは事前訓練されるか、事前訓練されないかのいずれかである。
モデルの事前トレーニングはパフォーマンスを高めるか、それを減らすかのいずれかで、後者は負の転送として定義される。
L2-SP正則化の適用は、事前訓練された値に対して重みを減衰させるか、あるいは全ての重みを0。
本稿ではこれらの仮定を再検討する。
提案手法は, 最適な結果を得るために, 非バイナリアプローチの適用を実証する広範な経験的評価に基づいている。
1) 各データセットで最高の性能を得るには,転送する層数,異なる層での学習率,L2SPとL2の正則化の異なる組み合わせなど,通常考慮されない様々な移動学習ハイパーパラメータを慎重に調整する必要がある。
2) 最適なハイパーパラメータを導出するために, トレーニング済み重量がターゲットデータセットにどの程度収まるか, 様々な測定方法を用いて, ベストプラクティスを達成できる。
本稿では,L2SPとL2正規化を組み合わせた非バイナリ変換学習と,非従来の微調整ハイパーパラメータ探索を行う手法を提案する。
最後に, 最適伝達学習ハイパーパラメータを決定するためのヒューリスティックスを提案する。
非バイナリアプローチを使用することのメリットは、従来より転送学習が困難だったさまざまなタスクにおいて、アートパフォーマンスの状態をほぼあるいは超えている最終結果によって支えられている。
関連論文リスト
- Learning to Transform Dynamically for Better Adversarial Transferability [32.267484632957576]
人間に知覚できない摂動を加えることで構築された敵対的な例は、ニューラルネットワークを欺く可能性がある。
我々はL2T(Learning to Transform)という新しいアプローチを導入する。
L2Tは、候補プールからの操作の最適な組み合わせを選択することにより、変換された画像の多様性を高める。
論文 参考訳（メタデータ） (2024-05-23T00:46:53Z) - Tune without Validation: Searching for Learning Rate and Weight Decay on
Training Sets [0.0]
Tune without Validation (Twin)は、学習率と体重減少をチューニングするためのパイプラインである。
我々は、20の画像分類データセットに関する広範な実験を行い、ディープネットワークの数家族を訓練する。
我々は,スクラッチと微調整の訓練において適切なHP選択を示し,小サンプルシナリオを強調した。
論文 参考訳（メタデータ） (2024-03-08T18:57:00Z) - Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。
いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
論文 参考訳（メタデータ） (2023-10-31T10:45:03Z) - Class Adaptive Network Calibration [19.80805957502909]
ディープネットワークの校正のためのクラス適応ラベル平滑化(CALS)を提案する。
提案手法は,制約付き最適化において確立された手法である拡張ラグランジアンアプローチに基づいて構築される。
論文 参考訳（メタデータ） (2022-11-28T06:05:31Z) - Learning to Re-weight Examples with Optimal Transport for Imbalanced
Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。
不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。
本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文 参考訳（メタデータ） (2022-08-05T01:23:54Z) - Task-Customized Self-Supervised Pre-training with Scalable Dynamic
Routing [76.78772372631623]
セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。
しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。
異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
論文 参考訳（メタデータ） (2022-05-26T10:49:43Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Partial transfusion: on the expressive influence of trainable batch norm
parameters for transfer learning [0.0]
ImageNetからのトランスファーラーニングは、深層学習を医療画像に適用する際のゴートアプローチである。
ほとんどのモダンアーキテクチャにはバッチの正規化レイヤが含まれており、そのようなレイヤでモデルを微調整するには、いくつかの注意が必要である。
バッチ正規化レイヤのトレーニング可能な重みを微調整するだけで、すべての重みを微調整するのと同じようなパフォーマンスが得られることが分かりました。
論文 参考訳（メタデータ） (2021-02-10T16:29:03Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳（メタデータ） (2020-10-16T17:45:08Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳（メタデータ） (2020-02-19T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。