論文の概要: Neural Network Training with Highly Incomplete Datasets
- arxiv url: http://arxiv.org/abs/2107.00429v1
- Date: Thu, 1 Jul 2021 13:21:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 13:52:31.369631
- Title: Neural Network Training with Highly Incomplete Datasets
- Title(参考訳): 高度不完全データセットを用いたニューラルネットワークトレーニング
- Authors: Yu-Wei Chang and Laura Natali and Oveis Jamialahmadi and Stefano Romeo
and Joana B. Pereira and Giovanni Volpe
- Abstract要約: GapNetは、高度に不完全なデータセットを使用することができる、別のディープラーニングトレーニングアプローチである。
以上の結果から,GapNetはアルツハイマー病の病態とコビッド19による入院リスクのある患者の同定を改善することが示唆された。
- 参考スコア(独自算出の注目度): 1.5658704610960568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network training and validation rely on the availability of large
high-quality datasets. However, in many cases only incomplete datasets are
available, particularly in health care applications, where each patient
typically undergoes different clinical procedures or can drop out of a study.
Since the data to train the neural networks need to be complete, most studies
discard the incomplete datapoints, which reduces the size of the training data,
or impute the missing features, which can lead to artefacts. Alas, both
approaches are inadequate when a large portion of the data is missing. Here, we
introduce GapNet, an alternative deep-learning training approach that can use
highly incomplete datasets. First, the dataset is split into subsets of samples
containing all values for a certain cluster of features. Then, these subsets
are used to train individual neural networks. Finally, this ensemble of neural
networks is combined into a single neural network whose training is fine-tuned
using all complete datapoints. Using two highly incomplete real-world medical
datasets, we show that GapNet improves the identification of patients with
underlying Alzheimer's disease pathology and of patients at risk of
hospitalization due to Covid-19. By distilling the information available in
incomplete datasets without having to reduce their size or to impute missing
values, GapNet will permit to extract valuable information from a wide range of
datasets, benefiting diverse fields from medicine to engineering.
- Abstract(参考訳): ニューラルネットワークのトレーニングと検証は、大規模な高品質データセットの可用性に依存している。
しかし、多くの場合、不完全なデータセットのみが利用可能であり、特に医療アプリケーションでは、各患者がそれぞれ異なる臨床手順を施すか、研究から外れる可能性がある。
ニューラルネットワークをトレーニングするデータは完成する必要があるため、ほとんどの研究は、トレーニングデータのサイズを縮小する不完全なデータポイントを捨てたり、欠落した特徴を注入したり、人工物につながる可能性がある。
残念ながら、データの大部分が失われている場合、どちらのアプローチも不十分です。
本稿では、高度に不完全なデータセットを使用できる代替のディープラーニングトレーニングアプローチであるgapnetを紹介する。
まず、データセットは特定の機能のクラスタのすべての値を含むサンプルのサブセットに分割される。
そして、これらのサブセットは個々のニューラルネットワークをトレーニングするために使用される。
最後に、このニューラルネットワークのアンサンブルは、すべての完全なデータポイントを使用してトレーニングを微調整する単一のニューラルネットワークに結合される。
2つの高度に不完全な実世界の医療データセットを用いて、GapNetは、基礎疾患の患者とコビッド19による入院リスクのある患者の識別を改善する。
不完全なデータセットで利用可能な情報を、サイズを減らしたり、欠落した値を暗示したりすることなく蒸留することで、GapNetは幅広いデータセットから貴重な情報を抽出し、医学から工学までさまざまな分野の恩恵を受けることができる。
関連論文リスト
- Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳(メタデータ) (2023-08-21T07:24:29Z) - Neural Network Architecture for Database Augmentation Using Shared
Features [0.0]
医学のような領域では、大きな単一ソースデータセットや同一の機能を持つマルチソースデータセットを作成するのが難しくなる。
本稿では、これらのデータセット間で共通する機能を用いて、データ拡張を提供するニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-02-02T19:17:06Z) - Exposing and addressing the fragility of neural networks in digital
pathology [0.0]
textttStrongAugmentは、大規模な異種病理組織学的データを用いて評価される。
textttStrongAugmentでトレーニングされたニューラルネットワークは、すべてのデータセットで同様のパフォーマンスを維持している。
論文 参考訳(メタデータ) (2022-06-30T13:25:34Z) - What Can be Seen is What You Get: Structure Aware Point Cloud
Augmentation [0.966840768820136]
本稿では,データセットを人工的に多様化する新たなポイントクラウド拡張手法を提案する。
センサ中心の手法はライダーセンサーの機能とデータ構造を一致させる。
提案手法は,非常に小さなデータセットの使用,アノテーション時間,トレーニング時間,関連するコストの削減を可能にする。
論文 参考訳(メタデータ) (2022-06-20T09:10:59Z) - CvS: Classification via Segmentation For Small Datasets [52.821178654631254]
本稿では,分類ラベルをセグメントマップの予測から導出する小型データセットのコスト効率の高い分類器であるCvSを提案する。
我々は,CvSが従来の手法よりもはるかに高い分類結果が得られることを示す多種多様な問題に対して,本フレームワークの有効性を評価する。
論文 参考訳(メタデータ) (2021-10-29T18:41:15Z) - A Light-weight Interpretable CompositionalNetwork for Nuclei Detection
and Weakly-supervised Segmentation [10.196621315018884]
ディープニューラルネットワークは通常、膨大なパラメータをトレーニングするために大量の注釈付きデータを必要とする。
我々は,特に孤立した核に部分的なアノテーションを必要とするデータ効率モデルを構築することを提案する。
論文 参考訳(メタデータ) (2021-10-26T16:44:08Z) - Dive into Layers: Neural Network Capacity Bounding using Algebraic
Geometry [55.57953219617467]
ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。
入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。
実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
論文 参考訳(メタデータ) (2021-09-03T11:45:51Z) - Domain Generalization for Medical Imaging Classification with
Linear-Dependency Regularization [59.5104563755095]
本稿では,医用画像分類分野におけるディープニューラルネットワークの一般化能力向上のための,シンプルだが効果的なアプローチを提案する。
医用画像の領域変数がある程度コンパクトであることに感銘を受けて,変分符号化による代表的特徴空間の学習を提案する。
論文 参考訳(メタデータ) (2020-09-27T12:30:30Z) - Exploiting Multi-Modal Features From Pre-trained Networks for
Alzheimer's Dementia Recognition [16.006407253670396]
トレーニング済みネットワークから抽出した様々なマルチモーダル特徴を利用して、ニューラルネットワークを用いてアルツハイマー認知症を認識する。
畳み込みリカレントニューラルネットワークに基づく構造を改良し,分類処理と回帰処理を同時に行う。
評価結果がベースラインの精度を18.75%以上越え, 評価結果から, 4種類の認知障害を78.70%の精度で分類できる可能性が示唆された。
論文 参考訳(メタデータ) (2020-09-09T02:08:47Z) - MS-Net: Multi-Site Network for Improving Prostate Segmentation with
Heterogeneous MRI Data [75.73881040581767]
本稿では,ロバスト表現を学習し,前立腺のセグメンテーションを改善するための新しいマルチサイトネットワーク(MS-Net)を提案する。
当社のMS-Netは,すべてのデータセットのパフォーマンスを一貫して改善し,マルチサイト学習における最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2020-02-09T14:11:50Z) - DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a
Trained Classifier [58.979104709647295]
我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。
利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。
関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
論文 参考訳(メタデータ) (2019-12-27T02:05:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。