論文の概要: Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2406.16949v1
• Date: Wed, 19 Jun 2024 12:39:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 19:10:10.516268
• Title: Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning
• Title（参考訳）: 自己教師付き学習による長手データに対する高い微分可能なニューラルネットワークアーキテクチャ探索
• Authors: Jiaming Yan,
• Abstract要約: 本稿では,NASの長期化データセットにおける探索・訓練性能の向上について検討する。 まず、NASに関する関連する研究と、長い尾を持つデータセットに対するディープラーニング手法について論じる。 次に、自己教師付き学習と公正な差別化可能なNASを統合したSSF-NASと呼ばれる既存の研究に焦点を当てる。 最後に,性能評価のためのCIFAR10-LTデータセットについて実験を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in artificial intelligence (AI) have positioned deep learning (DL) as a pivotal technology in fields like computer vision, data mining, and natural language processing. A critical factor in DL performance is the selection of neural network architecture. Traditional predefined architectures often fail to adapt to different data distributions, making it challenging to achieve optimal performance. Neural architecture search (NAS) offers a solution by automatically designing architectures tailored to specific datasets. However, the effectiveness of NAS diminishes on long-tailed datasets, where a few classes have abundant samples, and many have few, leading to biased models.In this paper, we explore to improve the searching and training performance of NAS on long-tailed datasets. Specifically, we first discuss the related works about NAS and the deep learning method for long-tailed datasets.Then, we focus on an existing work, called SSF-NAS, which integrates the self-supervised learning and fair differentiable NAS to making NAS achieve better performance on long-tailed datasets.An detailed description about the fundamental techniques for SSF-NAS is provided in this paper, including DARTS, FairDARTS, and Barlow Twins. Finally, we conducted a series of experiments on the CIFAR10-LT dataset for performance evaluation, where the results are align with our expectation.
• Abstract（参考訳）: 人工知能(AI)の最近の進歩は、コンピュータビジョン、データマイニング、自然言語処理といった分野において、ディープラーニング(DL)を重要な技術として位置づけている。 DLパフォーマンスの重要な要因は、ニューラルネットワークアーキテクチャの選択である。 従来の事前定義されたアーキテクチャは、しばしば異なるデータ分散に適応できないため、最適なパフォーマンスを達成するのは難しい。 ニューラルネットワーク検索(NAS)は、特定のデータセットに適したアーキテクチャを自動的に設計することで、ソリューションを提供する。 しかし、NASの有効性は、少数のクラスが豊富なサンプルを持ち、多くがバイアスモデルに繋がる長い尾のデータセットにおいて低下し、この記事では、NASの長い尾のデータセットにおける探索と訓練性能を改善するために検討する。 具体的には,NASと長期データセットの深層学習手法に関する関連研究について論じるとともに,NASを長期データセット上でより優れたパフォーマンスを達成するために自己教師付き学習と公平な差別化が可能なNASを統合する,SF-NASと呼ばれる既存の研究に焦点を当てる。 最後に,CIFAR10-LTデータセットを用いて評価実験を行い,結果が期待値と一致していることを確認した。

関連論文リスト

• Insights from the Use of Previously Unseen Neural Architecture Search Datasets [6.239015118429603]
  我々は、一連のNASチャレンジのために作成された8つの新しいデータセットを示す:AddNIST、Language、MultNIST、CIFARTile、Gutenberg、Isabella、GeoClassing、Chesseract。 これらのデータセットと課題は、NAS開発における問題に注意を向け、開発時に未知のデータセット上でモデルがどのように機能するかを著者に検討するよう促すために開発されている。
  論文  参考訳（メタデータ） (2024-04-02T16:48:34Z)
• Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
  Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。 本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:00:35Z)
• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• Meta-Learning of NAS for Few-shot Learning in Medical Image Applications [10.666687733540668]
  ニューラルアーキテクチャサーチ(NAS)は医療画像の様々な応用を動機付けている。 NASは、大量の注釈付きデータ、かなりのリソース、事前定義されたタスクの可用性を必要とする。 分類,セグメンテーション,検出,再構成などの様々な応用を応用した医用画像におけるNASアプローチについて紹介する。
  論文  参考訳（メタデータ） (2022-03-16T21:21:51Z)
• FDNAS: Improving Data Privacy and Model Diversity in AutoML [7.402044070683503]
  クライアントの分散データからハードウェアを意識したNASを実現するためのFDNAS(Federated Direct Neural Architecture Search)フレームワークを提案する。 メタラーニングにインスパイアされたクライアントのデータ分散をさらに適応させるために、CFDNAS(Federated Direct Neural Architecture Search)フレームワークが提案され、クライアント対応NASを実現する。
  論文  参考訳（メタデータ） (2020-11-06T14:13:42Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。