論文の概要: An Efficient NAS-based Approach for Handling Imbalanced Datasets
- arxiv url: http://arxiv.org/abs/2406.16972v1
- Date: Sat, 22 Jun 2024 15:46:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 19:00:25.464720
- Title: An Efficient NAS-based Approach for Handling Imbalanced Datasets
- Title（参考訳）: 効率的なNASに基づく不均衡データセット処理手法
- Authors: Zhiwei Yao,
- Abstract要約: 本稿では、ニューラルネットワークサーチ(NAS)によるバックボーンアーキテクチャの最適化により、長い尾を持つデータセットの性能向上のための新しいアプローチを提案する。
我々の研究は、バランスの取れたデータセット上でのアーキテクチャの精度が、バランスの取れていないデータセットのパフォーマンスを確実に予測できないことを示している。
本報告では, IMB-NASの基本技術について, NASやアーキテクチャ転送など, 詳細な解説を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class imbalance is a common issue in real-world data distributions, negatively impacting the training of accurate classifiers. Traditional approaches to mitigate this problem fall into three main categories: class re-balancing, information transfer, and representation learning. This paper introduces a novel approach to enhance performance on long-tailed datasets by optimizing the backbone architecture through neural architecture search (NAS). Our research shows that an architecture's accuracy on a balanced dataset does not reliably predict its performance on imbalanced datasets. This necessitates a complete NAS run on long-tailed datasets, which can be computationally expensive. To address this computational challenge, we focus on existing work, called IMB-NAS, which proposes efficiently adapting a NAS super-network trained on a balanced source dataset to an imbalanced target dataset. A detailed description of the fundamental techniques for IMB-NAS is provided in this paper, including NAS and architecture transfer. Among various adaptation strategies, we find that the most effective approach is to retrain the linear classification head with reweighted loss while keeping the backbone NAS super-network trained on the balanced source dataset frozen. Finally, we conducted a series of experiments on the imbalanced CIFAR dataset for performance evaluation. Our conclusions are the same as those proposed in the IMB-NAS paper.
- Abstract（参考訳）: クラス不均衡は実世界のデータ配信において一般的な問題であり、正確な分類器の訓練に悪影響を及ぼす。
この問題を緩和する伝統的なアプローチは、クラス再バランス、情報伝達、表現学習の3つの主要なカテゴリに分類される。
本稿では,ニューラルアーキテクチャサーチ(NAS)によるバックボーンアーキテクチャの最適化により,長い尾を持つデータセットの性能を向上させる新しい手法を提案する。
我々の研究は、バランスの取れたデータセット上でのアーキテクチャの精度が、バランスの取れていないデータセットのパフォーマンスを確実に予測できないことを示している。
これにより、計算コストのかかる長いデータセット上で完全なNASを実行する必要がある。
IMB-NASは、バランスの取れたソースデータセットでトレーニングされたNASスーパーネットワークを、不均衡なターゲットデータセットに効率的に適応することを提案する。
本報告では, IMB-NASの基本技術について, NASやアーキテクチャ転送など, 詳細な解説を行う。
様々な適応戦略の中で、最も効果的なアプローチは、バランスの取れたソースデータセットでトレーニングされたバックボーンNASスーパーネットワークを凍結させながら、線形分類ヘッドを再重み付き損失で再訓練することである。
最後に,不均衡なCIFARデータセットを用いて評価実験を行った。
結論はIMB-NAS論文で提案されているものと同じである。
関連論文リスト
- Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning [0.0]
本稿では,NASの長期化データセットにおける探索・訓練性能の向上について検討する。
まず、NASに関する関連する研究と、長い尾を持つデータセットに対するディープラーニング手法について論じる。
次に、自己教師付き学習と公正な差別化可能なNASを統合したSSF-NASと呼ばれる既存の研究に焦点を当てる。
最後に,性能評価のためのCIFAR10-LTデータセットについて実験を行った。
論文 参考訳（メタデータ） (2024-06-19T12:39:02Z) - FlatNAS: optimizing Flatness in Neural Architecture Search for
Out-of-Distribution Robustness [3.724847012963521]
本研究では、FlatNAS(Flat Neural Architecture Search)と呼ばれる新しいNASソリューションを提案する。
シャープネス・アウェア・ミニマライゼーション(SAM)を用いた1つのNN最適化と頑健さから重みへの摂動に基づく新しいメリット像の相互作用を探索する。
NAS設計モデルのOODロバスト性は、文献における一般的なベンチマークデータセットを用いて、入力データの破損に対するロバスト性に着目して評価される。
論文 参考訳（メタデータ） (2024-02-29T12:33:14Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Data Augmentations in Deep Weight Spaces [89.45272760013928]
そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。
既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
論文 参考訳（メタデータ） (2023-11-15T10:43:13Z) - Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。
本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
論文 参考訳（メタデータ） (2023-05-26T14:00:35Z) - IMB-NAS: Neural Architecture Search for Imbalanced Datasets [18.45549536555864]
我々は、長い尾のデータセットの性能向上のための新しい補完的な方向を提案する。
バランスの取れたデータセット上で得られたアーキテクチャの精度は、バランスの取れていないデータセットの性能を示すものではない。
この計算負担を軽減するため、バランスの取れたソースデータセットから非バランスのターゲットデータセットにNASスーパーネットワークを効率的に適用することを目的としている。
論文 参考訳（メタデータ） (2022-09-30T23:15:28Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - NAS-HPO-Bench-II: A Benchmark Dataset on Joint Optimization of
Convolutional Neural Network Architecture and Training Hyperparameters [4.039245878626346]
本稿ではNAS-HPO-Bench-IIと呼ぶ,ネットワーク接続の協調最適化とハイパーパラメータのトレーニングのためのベンチマークデータセットを提案する。
CIFAR-10データセットでトレーニングされた4Kセルベースの畳み込みニューラルネットワークアーキテクチャのパフォーマンスデータを,学習率とバッチサイズの設定で収集する。
我々は200エポックトレーニング後の精度を予測するサロゲートモデルを構築し、より長いトレーニングエポックのパフォーマンスデータを提供する。
論文 参考訳（メタデータ） (2021-10-19T18:00:01Z) - Task-Adaptive Neural Network Retrieval with Meta-Contrastive Learning [34.27089256930098]
本稿では,与えられたタスクに対して最適な事前学習ネットワークを検索するニューラルネットワーク検索手法を提案する。
データセットとネットワークとの類似性を最大化するために、コントラスト損失を伴うクロスモーダルな潜在空間をメタラーニングすることによって、このフレームワークを訓練する。
提案手法の有効性を,既存のNASベースラインに対して10個の実世界のデータセット上で検証する。
論文 参考訳（メタデータ） (2021-03-02T06:30:51Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。