論文の概要: Efficient Deep Representation Learning by Adaptive Latent Space Sampling
- arxiv url: http://arxiv.org/abs/2004.02757v2
- Date: Sun, 12 Apr 2020 18:25:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 03:41:33.976402
- Title: Efficient Deep Representation Learning by Adaptive Latent Space Sampling
- Title(参考訳): 適応潜在空間サンプリングによる効率的な深層表現学習
- Authors: Yuanhan Mo and Shuo Wang and Chengliang Dai and Rui Zhou and Zhongzhao
Teng and Wenjia Bai and Yike Guo
- Abstract要約: 監視されたディープラーニングには、アノテーションを備えた大量のトレーニングサンプルが必要です。
本稿では,学習プロセスに供給される情報サンプルを適応的に選択する新しいトレーニングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 16.320898678521843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised deep learning requires a large amount of training samples with
annotations (e.g. label class for classification task, pixel- or voxel-wised
label map for segmentation tasks), which are expensive and time-consuming to
obtain. During the training of a deep neural network, the annotated samples are
fed into the network in a mini-batch way, where they are often regarded of
equal importance. However, some of the samples may become less informative
during training, as the magnitude of the gradient start to vanish for these
samples. In the meantime, other samples of higher utility or hardness may be
more demanded for the training process to proceed and require more
exploitation. To address the challenges of expensive annotations and loss of
sample informativeness, here we propose a novel training framework which
adaptively selects informative samples that are fed to the training process.
The adaptive selection or sampling is performed based on a hardness-aware
strategy in the latent space constructed by a generative model. To evaluate the
proposed training framework, we perform experiments on three different
datasets, including MNIST and CIFAR-10 for image classification task and a
medical image dataset IVUS for biophysical simulation task. On all three
datasets, the proposed framework outperforms a random sampling method, which
demonstrates the effectiveness of proposed framework.
- Abstract(参考訳): 教師付きディープラーニングでは,大量のトレーニングサンプルとアノテーション(分類タスク用のラベルクラス,セグメンテーションタスク用のピクセル単位あるいはボクセル単位のラベルマップなど)が必要になります。
ディープニューラルネットワークのトレーニング中、注釈付きサンプルはミニバッチ方式でネットワークに供給され、それらは等しく重要視されることが多い。
しかし、これらのサンプルの勾配の大きさがなくなり始めると、サンプルのいくつかは、訓練中に情報が少なくなる可能性がある。
一方、より高い実用性や硬さのサンプルは、トレーニングプロセスを進め、より多くの搾取を必要とするように要求される。
本稿では,高価なアノテーションの課題とサンプルインフォメーションの喪失に対処するために,トレーニングプロセスに供給される情報サンプルを適応的に選択する新しいトレーニングフレームワークを提案する。
生成モデルにより構築された潜伏空間における硬度認識戦略に基づいて適応選択またはサンプリングを行う。
提案手法を評価するために,画像分類タスクにmnistとcifar-10,生物物理シミュレーションタスクに医用画像データセットivusの3つの異なるデータセットについて実験を行った。
これら3つのデータセットにおいて,提案手法はランダムサンプリング法より優れ,提案手法の有効性を示す。
関連論文リスト
- Data Pruning via Moving-one-Sample-out [61.45441981346064]
我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。
MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。
実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
論文 参考訳(メタデータ) (2023-10-23T08:00:03Z) - Semi-Supervised Learning for hyperspectral images by non parametrically
predicting view assignment [25.198550162904713]
ハイパースペクトル画像(HSI)分類は、画像中のスペクトル情報が高いため、現在、多くの勢いを増している。
近年,ラベル付きサンプルを最小限に抑えたディープラーニングモデルを効果的に訓練するために,ラベル付きサンプルも自己教師付きおよび半教師付き設定で活用されている。
本研究では,半教師付き学習の概念を利用して,モデルの識別的自己教師型事前学習を支援する。
論文 参考訳(メタデータ) (2023-06-19T14:13:56Z) - AdaSelection: Accelerating Deep Learning Training through Data
Subsampling [27.46630703428186]
適応型サブサンプリング手法であるAdaSelectionを導入し,各ミニバッチ内の最も情報性の高いサブサンプルを同定する。
業界標準のベースラインと比較すると、AdaSelectionは一貫して優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-06-19T07:01:28Z) - Importance Sampling for Stochastic Gradient Descent in Deep Neural
Networks [0.0]
ディープニューラルネットワークのトレーニングのための重要サンプリングが広く研究されている。
本稿では,本研究領域に固有の課題について概説する。
本稿では,所定のサンプリング方式の品質を評価するための指標を提案する。
論文 参考訳(メタデータ) (2023-03-29T08:35:11Z) - Adaptive Siamese Tracking with a Compact Latent Network [219.38172719948048]
追跡タスクを分類に変換することで,シームズをベースとしたトラッカーを簡易化する直感的なビューを提供する。
そこで本研究では,視覚シミュレーションと実追跡例を用いて,詳細な解析を行う。
そこで我々は,古典的なSiamRPN++,SiamFC,SiamBANの3つのトラッカーを調整した。
論文 参考訳(メタデータ) (2023-02-02T08:06:02Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳(メタデータ) (2022-08-26T04:28:01Z) - Meta-Sampler: Almost-Universal yet Task-Oriented Sampling for Point
Clouds [46.33828400918886]
複数のタスクにまたがって、ほぼ普遍的なメタサンプルをトレーニングする方法を示します。
このメタサンプルは、異なるデータセットやネットワーク、あるいは異なるタスクに適用した場合、迅速に微調整できる。
論文 参考訳(メタデータ) (2022-03-30T02:21:34Z) - Active Learning for Deep Visual Tracking [51.5063680734122]
畳み込みニューラルネットワーク(CNN)は近年,単一目標追跡タスクに成功している。
本稿では,ディープ・ビジュアル・トラッキングのためのアクティブ・ラーニング手法を提案する。
アクティブラーニングの指導のもと、トレーニングされた深層CNNモデルに基づくトラッカーは、ラベリングコストを低減しつつ、競合的なトラッキング性能を達成することができる。
論文 参考訳(メタデータ) (2021-10-17T11:47:56Z) - AutoSampling: Search for Effective Data Sampling Schedules [118.20014773014671]
モデル学習のためのサンプリングスケジュールを自動的に学習するAutoSampling法を提案する。
提案手法の有効性を示す様々な画像分類タスクに本手法を適用した。
論文 参考訳(メタデータ) (2021-05-28T09:39:41Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳(メタデータ) (2020-07-21T13:27:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。