論文の概要: IMB-NAS: Neural Architecture Search for Imbalanced Datasets

• arxiv url: http://arxiv.org/abs/2210.00136v1
• Date: Fri, 30 Sep 2022 23:15:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 14:16:07.176443
• Title: IMB-NAS: Neural Architecture Search for Imbalanced Datasets
• Title（参考訳）: IMB-NAS:不均衡データセットのニューラルネットワーク探索
• Authors: Rahul Duggal, Shengyun Peng, Hao Zhou, Duen Horng Chau
• Abstract要約: 我々は、長い尾のデータセットの性能向上のための新しい補完的な方向を提案する。 バランスの取れたデータセット上で得られたアーキテクチャの精度は、バランスの取れていないデータセットの性能を示すものではない。 この計算負担を軽減するため、バランスの取れたソースデータセットから非バランスのターゲットデータセットにNASスーパーネットワークを効率的に適用することを目的としている。
• 参考スコア（独自算出の注目度）: 18.45549536555864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class imbalance is a ubiquitous phenomenon occurring in real world data distributions. To overcome its detrimental effect on training accurate classifiers, existing work follows three major directions: class re-balancing, information transfer, and representation learning. In this paper, we propose a new and complementary direction for improving performance on long tailed datasets - optimizing the backbone architecture through neural architecture search (NAS). We find that an architecture's accuracy obtained on a balanced dataset is not indicative of good performance on imbalanced ones. This poses the need for a full NAS run on long tailed datasets which can quickly become prohibitively compute intensive. To alleviate this compute burden, we aim to efficiently adapt a NAS super-network from a balanced source dataset to an imbalanced target one. Among several adaptation strategies, we find that the most effective one is to retrain the linear classification head with reweighted loss, while freezing the backbone NAS super-network trained on a balanced source dataset. We perform extensive experiments on multiple datasets and provide concrete insights to optimize architectures for long tailed datasets.
• Abstract（参考訳）: クラス不均衡は、実世界のデータ分布で発生するユビキタスな現象である。 正確な分類器の訓練における有害な効果を克服するために、既存の研究は、クラス再バランス、情報伝達、表現学習の3つの主要な方向に従っている。 本稿では、ニューラルネットワーク探索(NAS)によるバックボーンアーキテクチャの最適化により、長い尾のデータセットの性能を改善するための新しい補完的な方向を提案する。 バランスの取れたデータセット上で得られたアーキテクチャの精度は、バランスの取れていないデータセットの性能を示すものではない。 これにより、長い尾のデータセット上で完全なNASを実行する必要が生じる。 この計算負担を軽減するため、バランスの取れたソースデータセットから非バランスのターゲットデータセットにNASスーパーネットワークを効率的に適用することを目指している。 いくつかの適応戦略の中で、最も効果的なのは、バランスの取れたソースデータセットでトレーニングされたバックボーンNASスーパーネットワークを凍結しながら、線形分類ヘッドを再重み付き損失で再訓練することである。 複数のデータセットについて広範な実験を行い、長い尾のデータセットのアーキテクチャを最適化するための具体的な洞察を提供する。

関連論文リスト

• An Efficient NAS-based Approach for Handling Imbalanced Datasets [0.0]
  本稿では、ニューラルネットワークサーチ(NAS)によるバックボーンアーキテクチャの最適化により、長い尾を持つデータセットの性能向上のための新しいアプローチを提案する。 我々の研究は、バランスの取れたデータセット上でのアーキテクチャの精度が、バランスの取れていないデータセットのパフォーマンスを確実に予測できないことを示している。 本報告では, IMB-NASの基本技術について, NASやアーキテクチャ転送など, 詳細な解説を行う。
  論文  参考訳（メタデータ） (2024-06-22T15:46:03Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• UnbiasedNets: A Dataset Diversification Framework for Robustness Bias Alleviation in Neural Networks [11.98126285848966]
  最も正確なNNでさえ、利用可能なトレーニングデータセットに固有のバイアスがあるため、特定の出力分類に偏りがある。 本論文は、ある出力クラスにおいて、雑音に対するロバスト性が大きく、訓練されたNNが提示するロバスト性バイアスを扱う。 K平均クラスタリングとNNの雑音耐性を利用して、与えられたトレーニングデータセットを多様化するUnbiasedNetsフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:49:43Z)
• Self-Supervised Neural Architecture Search for Imbalanced Datasets [129.3987858787811]
  ニューラルアーキテクチャサーチ(NAS)は、アノテートラベル付きよく計算されたデータセットでトレーニングされた場合、最先端の結果を提供する。 a) アーキテクチャを決定するためにラベルを必要とせず、(b) データセットが不均衡であると仮定する自己管理シナリオに焦点を当てたNASベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-17T14:56:36Z)
• Class Balancing GAN with a Classifier in the Loop [58.29090045399214]
  本稿では,GANを学習するための理論的動機付けクラスバランス正則化器を提案する。 我々の正規化器は、訓練済みの分類器からの知識を利用して、データセット内のすべてのクラスのバランスの取れた学習を確実にします。 複数のデータセットにまたがる既存手法よりも優れた性能を達成し,長期分布の学習表現における正規化器の有用性を実証する。
  論文  参考訳（メタデータ） (2021-06-17T11:41:30Z)
• AdaGCN:Adaptive Boosting Algorithm for Graph Convolutional Networks on Imbalanced Node Classification [10.72543417177307]
  AdaGCNと呼ばれるアンサンブルモデルを提案する。このモデルでは,アダプティブ・ブーピング時のベース推定にグラフ畳み込みネットワーク(GCN)を用いる。 我々のモデルは、考慮すべきノード分類タスクのすべてにおいて、最先端のベースラインも改善します。
  論文  参考訳（メタデータ） (2021-05-25T02:43:31Z)
• Task-Adaptive Neural Network Retrieval with Meta-Contrastive Learning [34.27089256930098]
  本稿では,与えられたタスクに対して最適な事前学習ネットワークを検索するニューラルネットワーク検索手法を提案する。 データセットとネットワークとの類似性を最大化するために、コントラスト損失を伴うクロスモーダルな潜在空間をメタラーニングすることによって、このフレームワークを訓練する。 提案手法の有効性を,既存のNASベースラインに対して10個の実世界のデータセット上で検証する。
  論文  参考訳（メタデータ） (2021-03-02T06:30:51Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。