論文の概要: Efficient Deep Representation Learning by Adaptive Latent Space Sampling

• arxiv url: http://arxiv.org/abs/2004.02757v2
• Date: Sun, 12 Apr 2020 18:25:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 03:41:33.976402
• Title: Efficient Deep Representation Learning by Adaptive Latent Space Sampling
• Title（参考訳）: 適応潜在空間サンプリングによる効率的な深層表現学習
• Authors: Yuanhan Mo and Shuo Wang and Chengliang Dai and Rui Zhou and Zhongzhao Teng and Wenjia Bai and Yike Guo
• Abstract要約: 監視されたディープラーニングには、アノテーションを備えた大量のトレーニングサンプルが必要です。 本稿では,学習プロセスに供給される情報サンプルを適応的に選択する新しいトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.320898678521843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised deep learning requires a large amount of training samples with annotations (e.g. label class for classification task, pixel- or voxel-wised label map for segmentation tasks), which are expensive and time-consuming to obtain. During the training of a deep neural network, the annotated samples are fed into the network in a mini-batch way, where they are often regarded of equal importance. However, some of the samples may become less informative during training, as the magnitude of the gradient start to vanish for these samples. In the meantime, other samples of higher utility or hardness may be more demanded for the training process to proceed and require more exploitation. To address the challenges of expensive annotations and loss of sample informativeness, here we propose a novel training framework which adaptively selects informative samples that are fed to the training process. The adaptive selection or sampling is performed based on a hardness-aware strategy in the latent space constructed by a generative model. To evaluate the proposed training framework, we perform experiments on three different datasets, including MNIST and CIFAR-10 for image classification task and a medical image dataset IVUS for biophysical simulation task. On all three datasets, the proposed framework outperforms a random sampling method, which demonstrates the effectiveness of proposed framework.
• Abstract（参考訳）: 教師付きディープラーニングでは,大量のトレーニングサンプルとアノテーション(分類タスク用のラベルクラス,セグメンテーションタスク用のピクセル単位あるいはボクセル単位のラベルマップなど)が必要になります。 ディープニューラルネットワークのトレーニング中、注釈付きサンプルはミニバッチ方式でネットワークに供給され、それらは等しく重要視されることが多い。 しかし、これらのサンプルの勾配の大きさがなくなり始めると、サンプルのいくつかは、訓練中に情報が少なくなる可能性がある。 一方、より高い実用性や硬さのサンプルは、トレーニングプロセスを進め、より多くの搾取を必要とするように要求される。 本稿では,高価なアノテーションの課題とサンプルインフォメーションの喪失に対処するために,トレーニングプロセスに供給される情報サンプルを適応的に選択する新しいトレーニングフレームワークを提案する。 生成モデルにより構築された潜伏空間における硬度認識戦略に基づいて適応選択またはサンプリングを行う。 提案手法を評価するために,画像分類タスクにmnistとcifar-10,生物物理シミュレーションタスクに医用画像データセットivusの3つの異なるデータセットについて実験を行った。 これら3つのデータセットにおいて,提案手法はランダムサンプリング法より優れ,提案手法の有効性を示す。

関連論文リスト

• Integrated Image-Text Based on Semi-supervised Learning for Small Sample Instance Segmentation [1.3157419797035321]
  本稿では,既存情報の利用を最大化する観点から,新しいサンプルインスタンス分割法を提案する。 まず、ラベルのないデータを学習して擬似ラベルを生成し、利用可能なサンプルの数を増やすことで、モデルが完全に活用するのに役立つ。 第二に、テキストと画像の特徴を統合することにより、より正確な分類結果を得ることができる。
  論文  参考訳（メタデータ） (2024-10-21T14:44:08Z)
• Detection of Under-represented Samples Using Dynamic Batch Training for Brain Tumor Segmentation from MR Images [0.8437187555622164]
  磁気共鳴イメージング(MR)における脳腫瘍は困難であり、時間を要する。 これらの課題は、MR画像から自動脳腫瘍分割法を開発することで解決できる。 U-Netに基づく様々なディープラーニングモデルが提案されている。 これらのディープラーニングモデルは、腫瘍画像のデータセットに基づいてトレーニングされ、マスクのセグメント化に使用される。
  論文  参考訳（メタデータ） (2024-08-21T21:51:47Z)
• Dataset Quantization with Active Learning based Adaptive Sampling [11.157462442942775]
  また, 不均一なサンプル分布であっても, 性能維持が可能であることを示す。 サンプル選択を最適化するために,新しい能動的学習に基づく適応型サンプリング手法を提案する。 提案手法は,最先端のデータセット圧縮手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-09T23:09:18Z)
• Robust Noisy Label Learning via Two-Stream Sample Distillation [48.73316242851264]
  ノイズラベル学習は、ノイズラベルの監督の下で堅牢なネットワークを学習することを目的としている。 我々はTSSD(Two-Stream Sample Distillation)と呼ばれるシンプルで効果的なサンプル選択フレームワークを設計する。 このフレームワークは、ネットワークトレーニングの堅牢性を改善するために、クリーンなラベルでより高品質なサンプルを抽出することができる。
  論文  参考訳（メタデータ） (2024-04-16T12:18:08Z)
• Data Pruning via Moving-one-Sample-out [61.45441981346064]
  我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。 MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。 実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2023-10-23T08:00:03Z)
• Importance Sampling for Stochastic Gradient Descent in Deep Neural Networks [0.0]
  ディープニューラルネットワークのトレーニングのための重要サンプリングが広く研究されている。 本稿では,本研究領域に固有の課題について概説する。 本稿では,所定のサンプリング方式の品質を評価するための指標を提案する。
  論文  参考訳（メタデータ） (2023-03-29T08:35:11Z)
• Adaptive Siamese Tracking with a Compact Latent Network [219.38172719948048]
  追跡タスクを分類に変換することで,シームズをベースとしたトラッカーを簡易化する直感的なビューを提供する。 そこで本研究では,視覚シミュレーションと実追跡例を用いて,詳細な解析を行う。 そこで我々は,古典的なSiamRPN++,SiamFC,SiamBANの3つのトラッカーを調整した。
  論文  参考訳（メタデータ） (2023-02-02T08:06:02Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• Active Learning for Deep Visual Tracking [51.5063680734122]
  畳み込みニューラルネットワーク(CNN)は近年,単一目標追跡タスクに成功している。 本稿では,ディープ・ビジュアル・トラッキングのためのアクティブ・ラーニング手法を提案する。 アクティブラーニングの指導のもと、トレーニングされた深層CNNモデルに基づくトラッカーは、ラベリングコストを低減しつつ、競合的なトラッキング性能を達成することができる。
  論文  参考訳（メタデータ） (2021-10-17T11:47:56Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。