論文の概要: Learning across label confidence distributions using Filtered Transfer
Learning
- arxiv url: http://arxiv.org/abs/2006.02528v1
- Date: Wed, 3 Jun 2020 21:00:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 17:26:56.066053
- Title: Learning across label confidence distributions using Filtered Transfer
Learning
- Title（参考訳）: filtered transfer learningを用いたラベル信頼度分布の学習
- Authors: Seyed Ali Madani Tonekaboni, Andrew E. Brereton, Zhaleh Safikhani,
Andreas Windemuth, Benjamin Haibe-Kains, Stephen MacKinnon
- Abstract要約: 本稿では,大きな可変信頼度データセットを持つノイズの多いデータシステムにおいて,予測能力を向上させるための伝達学習手法を提案する。
本稿では、複数の階層のデータ信頼度を個別のタスクとして定義する、FTL(Filted Transfer Learning)と呼ばれるディープニューラルネットワーク手法を提案する。
FTLを用いてラベル信頼度分布を段階的に学習すると、単一の信頼範囲でトレーニングされたディープニューラルネットワークモデルよりも高いパフォーマンスが得られることを示す。
- 参考スコア（独自算出の注目度）: 0.44040106718326594
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Performance of neural network models relies on the availability of large
datasets with minimal levels of uncertainty. Transfer Learning (TL) models have
been proposed to resolve the issue of small dataset size by letting the model
train on a bigger, task-related reference dataset and then fine-tune on a
smaller, task-specific dataset. In this work, we apply a transfer learning
approach to improve predictive power in noisy data systems with large variable
confidence datasets. We propose a deep neural network method called Filtered
Transfer Learning (FTL) that defines multiple tiers of data confidence as
separate tasks in a transfer learning setting. The deep neural network is
fine-tuned in a hierarchical process by iteratively removing (filtering) data
points with lower label confidence, and retraining. In this report we use FTL
for predicting the interaction of drugs and proteins. We demonstrate that using
FTL to learn stepwise, across the label confidence distribution, results in
higher performance compared to deep neural network models trained on a single
confidence range. We anticipate that this approach will enable the machine
learning community to benefit from large datasets with uncertain labels in
fields such as biology and medicine.
- Abstract（参考訳）: ニューラルネットワークモデルのパフォーマンスは、最小レベルの不確実性を持つ大規模なデータセットの可用性に依存している。
Transfer Learning(TL)モデルは、タスク関連の参照データセットを大規模にトレーニングし、タスク固有のデータセットを微調整することで、小さなデータセットサイズの問題を解決するために提案されている。
本研究では,大きな信頼度データセットを持つ雑音データシステムの予測能力を向上させるために,トランスファーラーニング手法を適用した。
本研究では,複数の階層のデータ信頼度を,トランスファー学習環境において別々のタスクとして定義する,フィルタ付き転送学習(ftl)と呼ばれる深層ニューラルネットワーク手法を提案する。
ディープニューラルネットワークは、ラベル信頼度の低いデータポイントを反復的に削除(フィルタリング)し、再トレーニングすることで、階層的プロセスで微調整される。
本報告では, FTLを用いて薬物とタンパク質の相互作用を予測する。
FTLを用いてラベル信頼度分布を段階的に学習すると、単一の信頼範囲でトレーニングされたディープニューラルネットワークモデルよりも高いパフォーマンスが得られることを示す。
このアプローチにより、機械学習コミュニティは、生物学や医学などの分野において、不確実なラベルを持つ大規模なデータセットの恩恵を受けることが期待できる。
関連論文リスト
- Multi-Scale Convolutional LSTM with Transfer Learning for Anomaly Detection in Cellular Networks [1.1432909951914676]
本研究では,トランスファーラーニング(TL)を用いたマルチスケール畳み込みLSTMによるセルネットワークの異常検出手法を提案する。
モデルは最初、公開データセットを使用してスクラッチからトレーニングされ、典型的なネットワーク動作を学習する。
我々は,スクラッチから訓練したモデルの性能と,TLを用いた微調整モデルの性能を比較した。
論文 参考訳（メタデータ） (2024-09-30T17:51:54Z) - Convolutional Neural Networks for the classification of glitches in
gravitational-wave data streams [52.77024349608834]
我々は、高度LIGO検出器のデータから過渡ノイズ信号(グリッチ)と重力波を分類する。
どちらも、Gravity Spyデータセットを使用して、スクラッチからトレーニングされた、教師付き学習アプローチのモデルを使用します。
また、擬似ラベルの自動生成による事前学習モデルの自己教師型アプローチについても検討する。
論文 参考訳（メタデータ） (2023-03-24T11:12:37Z) - Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。
本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。
ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-03T15:09:19Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳（メタデータ） (2021-11-23T18:59:08Z) - CvS: Classification via Segmentation For Small Datasets [52.821178654631254]
本稿では,分類ラベルをセグメントマップの予測から導出する小型データセットのコスト効率の高い分類器であるCvSを提案する。
我々は,CvSが従来の手法よりもはるかに高い分類結果が得られることを示す多種多様な問題に対して,本フレームワークの有効性を評価する。
論文 参考訳（メタデータ） (2021-10-29T18:41:15Z) - MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent
Unsupervised Learning Using Mutual Information Maximization [29.368950377171995]
我々は、教師なし学習と半教師なし学習を併用するために、相互情報に基づく教師なし・半教師付き並行学習(MUSCLE)を導入する。
MUSCLEはニューラルネットワークのスタンドアロントレーニングスキームとして使用することができ、他の学習手法にも組み込むことができる。
提案手法は,CIFAR-10,CIFAR-100,Mini-Imagenetなど,いくつかの標準ベンチマークにおいて,その性能に優れることを示す。
論文 参考訳（メタデータ） (2020-11-30T23:01:04Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳（メタデータ） (2020-07-07T11:27:43Z) - Deep Transfer Learning with Ridge Regression [7.843067454030999]
大量のデータで訓練されたディープモデルは、関連するドメインから見えないデータに対して有望な一般化能力を示す。
我々は、深層ニューラルネットワーク(DNN)から生成された学習特徴ベクトルの低ランク性と、カーネルリッジ回帰(KRR)で提供されるクローズドフォームソリューションを活用することで、この問題に対処する。
本手法は、教師あり半教師ありのトランスファー学習タスクにおいて成功している。
論文 参考訳（メタデータ） (2020-06-11T20:21:35Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。