論文の概要: DARDA: Domain-Aware Real-Time Dynamic Neural Network Adaptation
- arxiv url: http://arxiv.org/abs/2409.09753v1
- Date: Sun, 15 Sep 2024 14:49:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 17:40:52.679847
- Title: DARDA: Domain-Aware Real-Time Dynamic Neural Network Adaptation
- Title（参考訳）: DARDA:ドメイン対応リアルタイムニューラルネットワーク適応
- Authors: Shahriar Rifat, Jonathan Ashdown, Francesco Restuccia,
- Abstract要約: TTA(Test Time Adaptation)は、入力に影響を及ぼす破損やノイズの存在下でのディープニューラルネットワーク(DNN)の性能劣化を軽減するための実用的なソリューションとして登場した。
このような問題に対処するためにドメイン対応リアルタイム動的適応(DARDA)を提案する。
- 参考スコア（独自算出の注目度）: 8.339630468077713
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test Time Adaptation (TTA) has emerged as a practical solution to mitigate the performance degradation of Deep Neural Networks (DNNs) in the presence of corruption/ noise affecting inputs. Existing approaches in TTA continuously adapt the DNN, leading to excessive resource consumption and performance degradation due to accumulation of error stemming from lack of supervision. In this work, we propose Domain-Aware Real-Time Dynamic Adaptation (DARDA) to address such issues. Our key approach is to proactively learn latent representations of some corruption types, each one associated with a sub-network state tailored to correctly classify inputs affected by that corruption. After deployment, DARDA adapts the DNN to previously unseen corruptions in an unsupervised fashion by (i) estimating the latent representation of the ongoing corruption; (ii) selecting the sub-network whose associated corruption is the closest in the latent space to the ongoing corruption; and (iii) adapting DNN state, so that its representation matches the ongoing corruption. This way, DARDA is more resource efficient and can swiftly adapt to new distributions caused by different corruptions without requiring a large variety of input data. Through experiments with two popular mobile edge devices - Raspberry Pi and NVIDIA Jetson Nano - we show that DARDA reduces energy consumption and average cache memory footprint respectively by 1.74x and 2.64x with respect to the state of the art, while increasing the performance by 10.4%, 5.7% and 4.4% on CIFAR-10, CIFAR-100 and TinyImagenet.
- Abstract（参考訳）: TTA(Test Time Adaptation)は、入力に影響を及ぼす破損やノイズの存在下でのディープニューラルネットワーク(DNN)の性能劣化を軽減するための実用的なソリューションとして登場した。
TTAの既存のアプローチは、DNNを継続的に適応させ、監督の欠如に起因するエラーの蓄積による過剰なリソース消費と性能低下をもたらす。
本研究では,ドメイン対応リアルタイム動的適応(DARDA)を提案する。
我々の主要なアプローチは、いくつかの汚職タイプの潜伏表現を積極的に学習することであり、それぞれが、汚職によって影響を受ける入力を正しく分類するように調整されたサブネットワーク状態と関連付けられている。
デプロイ後、DARDAはDNNを、教師なしの方法で以前見られなかった汚職に適応させる。
一 進行中の腐敗の遅滞表現を推定すること。
二 汚職が進行中の汚職に最も近い部分ネットワークを選択すること。
三) DNN の状態に適応し、その表現が進行中の腐敗と一致するようにすること。
このようにして、DARDAはリソース効率が良くなり、様々な入力データを必要とすることなく、異なる汚職によって引き起こされる新しい分布に迅速に適応することができる。
Raspberry PiとNVIDIA Jetson Nanoの2つの人気モバイルエッジデバイスによる実験により、DARDAは、最先端技術に関して、それぞれ1.74xと2.64xのエネルギー消費と平均キャッシュメモリフットプリントを削減し、CIFAR-10、CIFAR-100、TinyImagenetでは10.4%、5.7%、そして4.4%のパフォーマンスを向上した。
関連論文リスト
- Improving robustness to corruptions with multiplicative weight perturbations [29.880029851866272]
クリーン画像の精度を損なうことなく、広範囲の汚職に対してDNNの堅牢性を向上する代替手法を提案する。
まず、重み空間における乗法的摂動によって入力摂動が模倣できることを示す。
また,最近提案されたAdaptive Sharpness-Aware Minimization (ASAM) について検討し,逆乗法重み摂動下でのDNNの最適化を示す。
論文 参考訳（メタデータ） (2024-06-24T11:20:44Z) - Dynamic Batch Norm Statistics Update for Natural Robustness [5.366500153474747]
本稿では,汚職検出モデルとBN統計更新からなる統合フレームワークを提案する。
CIFAR10-CとImageNet-Cの精度は8%, 4%向上した。
論文 参考訳（メタデータ） (2023-10-31T17:20:30Z) - Diffusion Denoising Process for Perceptron Bias in Out-of-distribution
Detection [67.49587673594276]
我々は、識別器モデルが入力の特定の特徴に対してより敏感であることを示唆する新しいパーセプトロンバイアスの仮定を導入し、過度な問題を引き起こした。
DMの拡散分解過程 (DDP) が非対称の新たな形態として機能し, 入力を高め, 過信問題を緩和するのに適していることを示す。
CIFAR10, CIFAR100, ImageNetによる実験により, 提案手法がSOTA手法より優れていることが示された。
論文 参考訳（メタデータ） (2022-11-21T08:45:08Z) - N2V2 -- Fixing Noise2Void Checkerboard Artifacts with Modified Sampling
Strategies and a Tweaked Network Architecture [66.03918859810022]
我々は,バニラN2V装置に2つの改良を加えて,不要なアーティファクトを大幅に削減する。
我々は、顕微鏡および自然画像データに基づいて、その修正を検証した。
論文 参考訳（メタデータ） (2022-11-15T21:12:09Z) - Back to the Source: Diffusion-Driven Test-Time Adaptation [77.4229736436935]
テスト時間適応はテスト入力を利用し、シフトしたターゲットデータ上でテストした場合、ソースデータに基づいてトレーニングされたモデルの精度を向上させる。
代わりに、生成拡散モデルを用いて、すべてのテスト入力をソース領域に向けて投影することで、ターゲットデータを更新する。
論文 参考訳（メタデータ） (2022-07-07T17:14:10Z) - Is Neuron Coverage Needed to Make Person Detection More Robust? [3.395452700023097]
本研究では,混み合った場面における人物検出の課題に対して,CGT(Comported-Guided Testing)を適用した。
提案したパイプラインは、人検出にYOLOv3を使用し、サンプリングと突然変異によるバグの発見を含む。
調査対象の指標が強靭性向上に有効であることを示す証拠は見出されていない。
論文 参考訳（メタデータ） (2022-04-21T11:23:33Z) - CorrGAN: Input Transformation Technique Against Natural Corruptions [4.479638789566316]
本研究では,劣化した入力が提供される場合に良性入力を生成できるCorrGANアプローチを提案する。
本稿では,新たな中間出力に基づく損失関数を持つGAN(Generative Adversarial Network)を訓練する。
GANは、破損した入力をノイズ化し、良性入力を生成する。
論文 参考訳（メタデータ） (2022-04-19T02:56:46Z) - Distribution-sensitive Information Retention for Accurate Binary Neural
Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。
我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。
我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文 参考訳（メタデータ） (2021-09-25T10:59:39Z) - Towards Corruption-Agnostic Robust Domain Adaptation [76.66523954277945]
新しいタスクである破損に依存しないロバストドメイン適応(CRDA:Corruption-agnostic Robust Domain Adaptation)を調査します。
1)予測不能な汚職を模倣するために,ドメインの不一致を拡大するサンプルを生成する,Digital Disrepancy Generator (DDG) と呼ばれる簡単なモジュール,2) 対象ドメインの制約を強化するために,対照的な損失を伴う単純かつ効果的な教師学習方式を提案する。
論文 参考訳（メタデータ） (2021-04-21T06:27:48Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-04-20T10:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。