論文の概要: Targeted Gradient Descent: A Novel Method for Convolutional Neural
Networks Fine-tuning and Online-learning
- arxiv url: http://arxiv.org/abs/2109.14729v1
- Date: Wed, 29 Sep 2021 21:22:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 14:53:45.731482
- Title: Targeted Gradient Descent: A Novel Method for Convolutional Neural
Networks Fine-tuning and Online-learning
- Title（参考訳）: Targeted Gradient Descent: Convolutional Neural Networks Fine-tuningとオンライン学習のための新しい方法
- Authors: Junyu Chen, Evren Asma, and Chung Chan
- Abstract要約: 畳み込みニューラルネットワーク(ConvNet)は通常、同じ分布から引き出された画像を使用してトレーニングされ、テストされる。
ConvNetをさまざまなタスクに一般化するには、さまざまなタスクから描画されたイメージからなる完全なトレーニングデータセットが必要になることが多い。
本稿では,従来のタスクからデータを再検討することなく,事前学習したネットワークを新しいタスクに拡張可能な,新たな微調整手法であるTGDを提案する。
- 参考スコア（独自算出の注目度）: 9.011106198253053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A convolutional neural network (ConvNet) is usually trained and then tested
using images drawn from the same distribution. To generalize a ConvNet to
various tasks often requires a complete training dataset that consists of
images drawn from different tasks. In most scenarios, it is nearly impossible
to collect every possible representative dataset as a priori. The new data may
only become available after the ConvNet is deployed in clinical practice.
ConvNet, however, may generate artifacts on out-of-distribution testing
samples. In this study, we present Targeted Gradient Descent (TGD), a novel
fine-tuning method that can extend a pre-trained network to a new task without
revisiting data from the previous task while preserving the knowledge acquired
from previous training. To a further extent, the proposed method also enables
online learning of patient-specific data. The method is built on the idea of
reusing a pre-trained ConvNet's redundant kernels to learn new knowledge. We
compare the performance of TGD to several commonly used training approaches on
the task of Positron emission tomography (PET) image denoising. Results from
clinical images show that TGD generated results on par with
training-from-scratch while significantly reducing data preparation and network
training time. More importantly, it enables online learning on the testing
study to enhance the network's generalization capability in real-world
applications.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(ConvNet)は通常、同じ分布から引き出された画像を使用してトレーニングされ、テストされる。
ConvNetをさまざまなタスクに一般化するには、さまざまなタスクから描画されたイメージからなる完全なトレーニングデータセットが必要になることが多い。
ほとんどのシナリオでは、プリミティブとして可能なすべての代表データセットを収集することはほぼ不可能である。
新しいデータは、ConvNetが臨床試験でデプロイされた後にのみ利用可能になる可能性がある。
しかし、convnetは分散テストサンプルでアーティファクトを生成する可能性がある。
本研究では,前回の学習から得た知識を保存しながら,前回の課題からデータを再考することなく,事前学習したネットワークを新しいタスクに拡張可能な,新たな微調整手法であるTGDを提案する。
さらに,提案手法により,患者固有のデータのオンライン学習も可能となった。
この方法は、トレーニング済みのConvNetの冗長カーネルを再利用して新しい知識を学ぶというアイデアに基づいている。
ポジトロン線トモグラフィ(PET)画像復調作業におけるTGDの性能と,いくつかの一般的な訓練手法との比較を行った。
臨床画像の結果,TGDはトレーニング・アット・スクラッチと同等に生成し,データ準備とネットワーク訓練時間を有意に短縮した。
さらに重要なのは、実世界のアプリケーションにおけるネットワークの一般化能力を高めるために、テスト研究のオンライン学習を可能にすることだ。
関連論文リスト
- Diffused Redundancy in Pre-trained Representations [98.55546694886819]
事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。
与えられた層における学習された表現は拡散冗長性を示す。
我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
論文 参考訳（メタデータ） (2023-05-31T21:00:50Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。
本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
論文 参考訳（メタデータ） (2022-06-15T18:35:16Z) - Neural Maximum A Posteriori Estimation on Unpaired Data for Motion
Deblurring [87.97330195531029]
本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。
提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
論文 参考訳（メタデータ） (2022-04-26T08:09:47Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Explaining Deep Learning Representations by Tracing the Training Process [10.774699463547439]
本稿では,ディープニューラルネットワークの決定を記述した新しい説明法を提案する。
本研究では,深層ネットワークの各層における中間表現がどのように洗練されているかを検討した。
提案手法は,説明として使用可能な,高度に代表的なトレーニングインスタンスを同定する。
論文 参考訳（メタデータ） (2021-09-13T11:29:04Z) - Training Graph Neural Networks by Graphon Estimation [2.5997274006052544]
本稿では,基礎となるネットワークデータから得られたグラフトン推定値から再サンプリングすることで,グラフニューラルネットワークをトレーニングする。
我々のアプローチは競争力があり、多くの場合、他の過度にスムースなGNNトレーニング手法よりも優れています。
論文 参考訳（メタデータ） (2021-09-04T19:21:48Z) - Dataset Meta-Learning from Kernel Ridge-Regression [18.253682891579402]
Kernel Inducing Points (KIP) はデータセットを1桁から2桁に圧縮することができる。
KIP学習データセットは、遅延学習体制を超えても有限幅ニューラルネットワークのトレーニングに転送可能である。
論文 参考訳（メタデータ） (2020-10-30T18:54:04Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。