論文の概要: DARTSRepair: Core-failure-set Guided DARTS for Network Robustness to Common Corruptions

• arxiv url: http://arxiv.org/abs/2209.10381v1
• Date: Wed, 21 Sep 2022 14:18:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 15:42:24.355944
• Title: DARTSRepair: Core-failure-set Guided DARTS for Network Robustness to Common Corruptions
• Title（参考訳）: DARTSRepair: ネットワークロバストネスのためのコアフェイルセットガイドDARTS
• Authors: Xuhong Ren, Jianlang Chen, Felix Juefei-Xu, Wanli Xue, Qing Guo, Lei Ma, Jianjun Zhao, Shengyong Chen
• Abstract要約: そこで我々は, DARTS の K-center-greedy アルゴリズムを組み込んで, モデルアーキテクチャを改良するために, 故障例の選択を行う新しいコア欠陥セット DARTS を提案する。 本手法は, 破損したデータセットと元のクリーンデータセットの両方において, 高い精度を達成できる。 いくつかの汚職パターンでは、45%以上の絶対精度の改善が達成できます。
• 参考スコア（独自算出の注目度）: 22.650969003465516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network architecture search (NAS), in particular the differentiable architecture search (DARTS) method, has shown a great power to learn excellent model architectures on the specific dataset of interest. In contrast to using a fixed dataset, in this work, we focus on a different but important scenario for NAS: how to refine a deployed network's model architecture to enhance its robustness with the guidance of a few collected and misclassified examples that are degraded by some real-world unknown corruptions having a specific pattern (e.g., noise, blur, etc.). To this end, we first conduct an empirical study to validate that the model architectures can be definitely related to the corruption patterns. Surprisingly, by just adding a few corrupted and misclassified examples (e.g., $10^3$ examples) to the clean training dataset (e.g., $5.0 \times 10^4$ examples), we can refine the model architecture and enhance the robustness significantly. To make it more practical, the key problem, i.e., how to select the proper failure examples for the effective NAS guidance, should be carefully investigated. Then, we propose a novel core-failure-set guided DARTS that embeds a K-center-greedy algorithm for DARTS to select suitable corrupted failure examples to refine the model architecture. We use our method for DARTS-refined DNNs on the clean as well as 15 corruptions with the guidance of four specific real-world corruptions. Compared with the state-of-the-art NAS as well as data-augmentation-based enhancement methods, our final method can achieve higher accuracy on both corrupted datasets and the original clean dataset. On some of the corruption patterns, we can achieve as high as over 45% absolute accuracy improvements.
• Abstract（参考訳）: ネットワークアーキテクチャサーチ(NAS)、特に差別化可能なアーキテクチャサーチ(DARTS)は、特定の関心のデータセットに基づいて優れたモデルアーキテクチャを学ぶ大きな力を示している。 この作業では、固定データセットを使用するのとは対照的に、nasの異なる重要なシナリオに焦点を当てている。 特定のパターン(例えばノイズ、ぼかしなど)を持つ現実世界の未知の腐敗によって劣化する少数の収集および誤分類例のガイダンスにより、デプロイされたネットワークのモデルアーキテクチャを洗練し、その堅牢性を高める方法。 この目的のために,我々はまず,モデルアーキテクチャが汚職パターンと確実に関連していることを示す実証的研究を行った。 驚いたことに、クリーントレーニングデータセットにいくつかの腐敗した、誤った分類された例(例えば10^3$例)を追加するだけで(例えば、5.0 \times 10^4$例)、モデルアーキテクチャを洗練し、ロバスト性を大幅に向上できます。 より実践的になるためには、効果的なnas指導のための適切な失敗例を選択する方法について慎重に検討する必要がある。 そこで本研究では, DARTS に K-center-greedy アルゴリズムを組み込んで, モデルアーキテクチャを洗練させるために, 故障例の選択を行う新しいコア欠陥セット DARTS を提案する。 クリーンなDARTS精製DNNと、現実世界の4つの汚職のガイダンスを用いて、15の汚職について検討した。 現状のNASやデータ拡張に基づく拡張手法と比較して、最終的な手法は、破損したデータセットと元のクリーンデータセットの両方で高い精度を達成できる。 いくつかの汚職パターンでは、45%以上の絶対精度の改善が達成できます。

関連論文リスト

• The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol [2.4300749758571905]
  勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。 本稿では,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを提案する。 本手法は,Cityscapes検証データセットの検索段階において75.3%の精度で他のDNAS法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T15:44:53Z)
• Dynamic Batch Norm Statistics Update for Natural Robustness [5.366500153474747]
  本稿では,汚職検出モデルとBN統計更新からなる統合フレームワークを提案する。 CIFAR10-CとImageNet-Cの精度は8%, 4%向上した。
  論文  参考訳（メタデータ） (2023-10-31T17:20:30Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Benchmarking Robustness of 3D Point Cloud Recognition Against Common Corruptions [38.89370166717221]
  筆者らは,3Dポイントクラウドの破壊堅牢性に関する最初の総合的なベンチマークであるModelNet40-Cを提案する。 評価の結果,モデルNet40 とモデルNet40-C では,最先端モデル (SOTA) では大きな差がみられた。 適切なトレーニングレシピを持つTransformerベースのアーキテクチャは、強力な堅牢性を実現する。
  論文  参考訳（メタデータ） (2022-01-28T18:01:42Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Generalization Guarantees for Neural Architecture Search with Train-Validation Split [48.265305046655996]
  本稿では,列車検証分割の統計的側面について検討する。 リスクや高度勾配などの検証損失の洗練された特性は、真のテスト損失の指標であることを示す。 また、NAS、マルチカーネル学習、低ランク行列学習の厳密な接続も強調する。
  論文  参考訳（メタデータ） (2021-04-29T06:11:00Z)
• Contrastive Neural Architecture Search with Neural Architecture Comparators [46.45102111497492]
  neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。 既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。 本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-08T11:24:07Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS evaluation is frustratingly hard [1.7188280334580197]
  Neural Architecture Search(NAS)は、2012年のConvolutional Neural Networksと同じくらい、ゲームチェンジャーになることを約束する、エキサイティングな新しい分野だ。 異なるメソッドの比較は、まだ非常にオープンな問題です。 最初のコントリビューションは、データセット5ドルに対する8ドルのNASメソッドのベンチマークです。
  論文  参考訳（メタデータ） (2019-12-28T21:24:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。