論文の概要: Self-Supervised Neural Architecture Search for Imbalanced Datasets
- arxiv url: http://arxiv.org/abs/2109.08580v2
- Date: Mon, 20 Sep 2021 16:16:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 11:33:27.988962
- Title: Self-Supervised Neural Architecture Search for Imbalanced Datasets
- Title（参考訳）: 不均衡データセットに対する自己監督型ニューラルネットワーク探索
- Authors: Aleksandr Timofeev, Grigorios G. Chrysos, Volkan Cevher
- Abstract要約: ニューラルアーキテクチャサーチ(NAS)は、アノテートラベル付きよく計算されたデータセットでトレーニングされた場合、最先端の結果を提供する。
a) アーキテクチャを決定するためにラベルを必要とせず、(b) データセットが不均衡であると仮定する自己管理シナリオに焦点を当てたNASベースのフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 129.3987858787811
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Neural Architecture Search (NAS) provides state-of-the-art results when
trained on well-curated datasets with annotated labels. However, annotating
data or even having balanced number of samples can be a luxury for
practitioners from different scientific fields, e.g., in the medical domain. To
that end, we propose a NAS-based framework that bears the threefold
contributions: (a) we focus on the self-supervised scenario, i.e., where no
labels are required to determine the architecture, and (b) we assume the
datasets are imbalanced, (c) we design each component to be able to run on a
resource constrained setup, i.e., on a single GPU (e.g. Google Colab). Our
components build on top of recent developments in self-supervised
learning~\citep{zbontar2021barlow}, self-supervised NAS~\citep{kaplan2020self}
and extend them for the case of imbalanced datasets. We conduct experiments on
an (artificially) imbalanced version of CIFAR-10 and we demonstrate our
proposed method outperforms standard neural networks, while using $27\times$
less parameters. To validate our assumption on a naturally imbalanced dataset,
we also conduct experiments on ChestMNIST and COVID-19 X-ray. The results
demonstrate how the proposed method can be used in imbalanced datasets, while
it can be fully run on a single GPU. Code is available
\href{https://github.com/TimofeevAlex/ssnas_imbalanced}{here}.
- Abstract（参考訳）: neural architecture search (nas)は、アノテートされたラベル付きデータセットでトレーニングされた場合、最先端の結果を提供する。
しかし、データの注釈付けやサンプルのバランスの取れた数さえも、医学領域など、さまざまな分野の実践者にとって豪華である。
そのために,3倍のコントリビューションを持つNASベースのフレームワークを提案する。
(a) 自己組織化シナリオ、すなわちアーキテクチャを決定するためにラベルを必要としないことに焦点を当て、
b)データセットが不均衡であると仮定する。
(c) リソース制約されたセットアップ、すなわち単一のGPU(例えばGoogle Colab)上で実行できるように、各コンポーネントを設計する。
我々のコンポーネントは、近年の自己教師型学習 -\citep{zbontar2021barlow}、自己教師型NAS~\citep{kaplan2020self}の上に構築され、不均衡データセットの場合、それらを拡張します。
我々は,CIFAR-10の不均衡なバージョンに対して実験を行い,提案手法が標準的なニューラルネットワークより優れていることを示す。
自然に不均衡なデータセットに対する仮定を検証するために、ChestMNISTとCOVID-19 X線の実験も行います。
結果は,提案手法が不均衡なデータセットでどのように使用できるかを示すとともに,単一のGPU上で完全に動作可能であることを示す。
コードは href{https://github.com/TimofeevAlex/ssnas_im Balanced}{here} で入手できる。
関連論文リスト
- Higher Order Gauge Equivariant CNNs on Riemannian Manifolds and
Applications [7.322121417864824]
我々はゲージ同変畳み込み(GEVNet)と呼ばれるゲージ同変畳み込みの高次一般化を導入する。
これにより、空間的に拡張された非線形相互作用を、大域的等距離と等値性を維持しながら、与えられた場内でモデル化することができる。
神経画像データ実験では、結果として生じる2部構造を用いて、拡散磁気共鳴画像(dMRI)からLewy Body Disease(DLB)、Alzheimer's Disease(AD)、Parkinson's Disease(PD)を自動判別する。
論文 参考訳（メタデータ） (2023-05-26T06:02:31Z) - Neural Architecture Search via Two Constant Shared Weights Initialisations [0.0]
本研究では,NAS-Bench-101,NAS-Bench-201,NAS-Bench-NLPベンチマークデータセット間で,列車セットの精度と高い相関性を示すゼロコスト指標を提案する。
提案手法は既存のNASアルゴリズムに簡単に組み込むことができ,1つのネットワークを評価するのに1秒程度の時間を要する。
論文 参考訳（メタデータ） (2023-02-09T02:25:38Z) - IMB-NAS: Neural Architecture Search for Imbalanced Datasets [18.45549536555864]
我々は、長い尾のデータセットの性能向上のための新しい補完的な方向を提案する。
バランスの取れたデータセット上で得られたアーキテクチャの精度は、バランスの取れていないデータセットの性能を示すものではない。
この計算負担を軽減するため、バランスの取れたソースデータセットから非バランスのターゲットデータセットにNASスーパーネットワークを効率的に適用することを目的としている。
論文 参考訳（メタデータ） (2022-09-30T23:15:28Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search [55.75621026447599]
NAS-Bench-Graphは、GraphNASの統一的、再現可能、効率的な評価をサポートする調整されたベンチマークである。
具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築する。
提案したベンチマークに基づいて,GNNアーキテクチャの性能を検索テーブルから直接取得できるが,それ以上の計算は行わない。
論文 参考訳（メタデータ） (2022-06-18T10:17:15Z) - Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。
本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2022-01-30T16:43:40Z) - Data-Free Neural Architecture Search via Recursive Label Calibration [34.84457903882755]
本稿では,事前学習モデルのみを用いたニューラルネットワーク探索の実現可能性を検討することを目的としている。
まず、トレーニング済みのディープニューラルネットワークから知識を回復することで、使用可能なデータを合成する。
我々は提案するフレームワークをDARTS, ProxylessNAS, SPOSの3つの一般的なNASアルゴリズムでインスタンス化する。
論文 参考訳（メタデータ） (2021-12-03T18:53:16Z) - Statistical model-based evaluation of neural networks [74.10854783437351]
ニューラルネットワーク(NN)の評価のための実験装置を開発する。
このセットアップは、NNs vis-a-vis minimum-mean-square-error (MMSE)パフォーマンス境界のベンチマークに役立つ。
これにより、トレーニングデータサイズ、データ次元、データ幾何学、ノイズ、トレーニング条件とテスト条件のミスマッチの影響をテストできます。
論文 参考訳（メタデータ） (2020-11-18T00:33:24Z) - Wiki-CS: A Wikipedia-Based Benchmark for Graph Neural Networks [0.0]
本稿では,グラフニューラルネットワークのベンチマークを行うためのウィキペディアから派生した新しいデータセットであるWiki-CSを紹介する。
データセットはコンピュータサイエンスの記事に対応するノードで構成され、ハイパーリンクに基づくエッジと、フィールドの異なるブランチを表す10のクラスで構成されている。
このデータセットを用いて、半教師付きノード分類と単関係リンク予測モデルを評価する。
論文 参考訳（メタデータ） (2020-07-06T17:25:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。