Fugu-MT 論文翻訳(概要): How to fine-tune deep neural networks in few-shot learning?

論文の概要: How to fine-tune deep neural networks in few-shot learning?

arxiv url: http://arxiv.org/abs/2012.00204v1
Date: Tue, 1 Dec 2020 01:20:59 GMT
ステータス: 処理完了
システム内更新日: 2021-06-01 08:25:48.701246
Title: How to fine-tune deep neural networks in few-shot learning?
Title（参考訳）: 数ショットの学習でディープニューラルネットワークを微調整する方法
Authors: Peng Peng and Jiugen Wang
Abstract要約: 深層モデルの微調整は単純で効果的な数ショット学習法である。実験結果から深部モデルを微調整する方法を考察する。
参考スコア（独自算出の注目度）: 2.0077237398506536
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning has been widely used in data-intensive applications. However, training a deep neural network often requires a large data set. When there is not enough data available for training, the performance of deep learning models is even worse than that of shallow networks. It has been proved that few-shot learning can generalize to new tasks with few training samples. Fine-tuning of a deep model is simple and effective few-shot learning method. However, how to fine-tune deep learning models (fine-tune convolution layer or BN layer?) still lack deep investigation. Hence, we study how to fine-tune deep models through experimental comparison in this paper. Furthermore, the weight of the models is analyzed to verify the feasibility of the fine-tuning method.
Abstract（参考訳）: ディープラーニングは、データ集約型アプリケーションで広く使われている。しかし、ディープニューラルネットワークのトレーニングには大きなデータセットが必要になることが多い。トレーニングに十分なデータがない場合、ディープラーニングモデルのパフォーマンスは、浅いネットワークよりもさらに悪くなります。数少ない学習は、トレーニングサンプルの少ない新しいタスクに一般化できることが証明されている。深層モデルの微調整は単純で効果的な数ショット学習法である。しかし、ディープラーニングモデル(ファインチューン畳み込み層かBN層か)を微調整する方法まだ深い調査がないそこで本論文では,深層模型の微調整方法について実験的比較により検討する。さらに, モデルの重みを解析し, 微調整法の有効性を検証した。

関連論文リスト

Optimizing Dense Feed-Forward Neural Networks [0.0]
本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。提案手法では,パラメータ数を70%以上圧縮できる。また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
論文参考訳（メタデータ） (2023-12-16T23:23:16Z)
Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-12-07T07:17:24Z)
Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。フェデレートラーニングにおいて最も顕著に用いられている。私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文参考訳（メタデータ） (2023-07-13T09:39:10Z)
Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
論文参考訳（メタデータ） (2023-05-28T05:38:28Z)
Neuron-Specific Dropout: A Deterministic Regularization Technique to Prevent Neural Networks from Overfitting & Reduce Dependence on Large Training Samples [0.0]
NSDropoutは、モデルのレイヤのトレーニングパスとバリデーションパスの両方を調べます。データセット内の各クラスのニューロンが生成する平均値を比較することで、ネットワークはターゲットユニットをドロップすることができる。レイヤは、バリデーションからサンプルを見る際に存在しない、テスト中にモデルが見ている機能やノイズを予測することができる。
論文参考訳（メタデータ） (2022-01-13T13:10:30Z)
Depth Uncertainty Networks for Active Learning [0.0]
アクティブな学習では、トレーニングデータセットのサイズと複雑さが時間とともに変化する。アクティブラーニングの開始時に利用可能なデータ量によって適切に定義された単純なモデルは、より多くのポイントがアクティブにサンプリングされるため、バイアスに悩まされる可能性がある。ネットワークの深さと複雑さを推定するBNN変種であるDUN(Depth Uncertainty Networks)を用いてこの問題に対処する。
論文参考訳（メタデータ） (2021-12-13T16:57:49Z)
A Light-weight Interpretable CompositionalNetwork for Nuclei Detection and Weakly-supervised Segmentation [10.196621315018884]
ディープニューラルネットワークは通常、膨大なパラメータをトレーニングするために大量の注釈付きデータを必要とする。我々は,特に孤立した核に部分的なアノテーションを必要とするデータ効率モデルを構築することを提案する。
論文参考訳（メタデータ） (2021-10-26T16:44:08Z)
Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文参考訳（メタデータ） (2021-07-19T13:57:13Z)
Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文参考訳（メタデータ） (2021-06-18T01:03:13Z)
Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。 CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
論文参考訳（メタデータ） (2020-09-01T16:20:11Z)
The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。