論文の概要: DDS-NAS: Dynamic Data Selection within Neural Architecture Search via On-line Hard Example Mining applied to Image Classification
- arxiv url: http://arxiv.org/abs/2506.14667v2
- Date: Tue, 24 Jun 2025 01:31:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-25 13:29:37.692055
- Title: DDS-NAS: Dynamic Data Selection within Neural Architecture Search via On-line Hard Example Mining applied to Image Classification
- Title(参考訳): DDS-NAS: 画像分類に応用したオンラインハードサンプルマイニングによるニューラルネットワーク探索における動的データ選択
- Authors: Matt Poyser, Toby P. Breckon,
- Abstract要約: カリキュラム学習フレームワーク内の動的ハードサンプルマイニングを通じて、ニューラルネットワーク検索(NAS)トレーニングを高速化します。
トレーニング中の各画像サンプルの寄与を最大化することにより、NASトレーニングサイクルの持続時間と収束に必要なイテレーション数を削減する。
- 参考スコア(独自算出の注目度): 13.427500787277031
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In order to address the scalability challenge within Neural Architecture Search (NAS), we speed up NAS training via dynamic hard example mining within a curriculum learning framework. By utilizing an autoencoder that enforces an image similarity embedding in latent space, we construct an efficient kd-tree structure to order images by furthest neighbour dissimilarity in a low-dimensional embedding. From a given query image from our subsample dataset, we can identify the most dissimilar image within the global dataset in logarithmic time. Via curriculum learning, we then dynamically re-formulate an unbiased subsample dataset for NAS optimisation, upon which the current NAS solution architecture performs poorly. We show that our DDS-NAS framework speeds up gradient-based NAS strategies by up to 27x without loss in performance. By maximising the contribution of each image sample during training, we reduce the duration of a NAS training cycle and the number of iterations required for convergence.
- Abstract(参考訳): ニューラルネットワーク検索(NAS)におけるスケーラビリティの課題に対処するため,カリキュラム学習フレームワーク内での動的ハードサンプルマイニングによるNASトレーニングを高速化する。
遅延空間に埋め込まれた画像類似性を強制するオートエンコーダを用いて、低次元埋め込みにおいて最も近い近傍の相似性によって画像を順序付ける効率的なkd木構造を構築する。
サブサンプルデータセットから与えられたクエリ画像から、グローバルデータセット内の最も異なる画像を対数時間で識別できる。
カリキュラム学習では、NAS最適化のための非バイアスサブサンプルデータセットを動的に再フォーマットし、現在のNASソリューションアーキテクチャでは性能が低くなる。
DDS-NASフレームワークは、パフォーマンスを損なうことなく、勾配に基づくNAS戦略を最大27倍高速化することを示す。
トレーニング中の各画像サンプルの寄与を最大化することにより、NASトレーニングサイクルの持続時間と収束に必要なイテレーション数を削減する。
関連論文リスト
- Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning [0.0]
本稿では,NASの長期化データセットにおける探索・訓練性能の向上について検討する。
まず、NASに関する関連する研究と、長い尾を持つデータセットに対するディープラーニング手法について論じる。
次に、自己教師付き学習と公正な差別化可能なNASを統合したSSF-NASと呼ばれる既存の研究に焦点を当てる。
最後に,性能評価のためのCIFAR10-LTデータセットについて実験を行った。
論文 参考訳(メタデータ) (2024-06-19T12:39:02Z) - Generalization Properties of NAS under Activation and Skip Connection
Search [66.8386847112332]
ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。
我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。
トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
論文 参考訳(メタデータ) (2022-09-15T12:11:41Z) - UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。
これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。
NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
論文 参考訳(メタデータ) (2022-05-04T16:30:26Z) - HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D
Medical Image Segmentation using HyperNet [51.60655410423093]
医用画像セグメンテーションのためのワンショットニューラルアーキテクチャサーチ(NAS)を実現するためにHyperSegNASを導入する。
従来のSOTA(State-of-the-art)セグメンテーションネットワークと比較して,HyperSegNASの方がパフォーマンスが高く,直感的なアーキテクチャが得られることを示す。
本手法は,MSD (Messical Decathlon) 課題の公開データセットを用いて評価し,SOTAの性能評価を行う。
論文 参考訳(メタデータ) (2021-12-20T16:21:09Z) - ISNAS-DIP: Image-Specific Neural Architecture Search for Deep Image
Prior [6.098254376499899]
DIPフレームワークにおける最適なニューラルアーキテクチャは、画像に依存していることを示す。
本稿では,DIPフレームワークのイメージ固有のNAS戦略を提案する。
実験の結果,画像特異的な指標は探索空間を小さなコホートモデルに還元し,最も優れたモデルが現在のNAS手法より画像復元に優れていることが判明した。
論文 参考訳(メタデータ) (2021-11-27T13:53:25Z) - Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。
MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。
いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
論文 参考訳(メタデータ) (2021-04-06T14:03:01Z) - Memory-Efficient Hierarchical Neural Architecture Search for Image
Restoration [68.6505473346005]
メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。
単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
論文 参考訳(メタデータ) (2020-12-24T12:06:17Z) - Efficient Neural Architecture Search for End-to-end Speech Recognition
via Straight-Through Gradients [17.501966450686282]
そこで我々は,ST-NASと呼ばれるStraight-Through(ST)勾配を用いた効率的なニューラルネットワーク探索法を開発した。
広くベンチマークされた80時間のWSJと300時間のSwitchboardデータセットに対する実験は、ST-NASによって誘導されるアーキテクチャが、2つのデータセットで設計されたアーキテクチャを大幅に上回っていることを示している。
また,ST-NASのアーキテクチャ伝達性やメモリおよび時間における計算コストの低減といった強度についても報告する。
論文 参考訳(メタデータ) (2020-11-11T09:18:58Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳(メタデータ) (2020-09-08T15:51:23Z) - DCNAS: Densely Connected Neural Architecture Search for Semantic Image
Segmentation [44.46852065566759]
Densely Connected NAS (DCNAS) フレームワークを提案し、視覚情報のマルチスケール表現に対して最適なネットワーク構造を直接検索する。
具体的には,学習可能な重みを使ってセルを相互に接続することにより,多数の主流ネットワーク設計をカバーするために,密結合された検索空間を導入する。
我々は、DCNASアルゴリズムから得られたアーキテクチャが、公開セマンティックイメージセグメンテーションベンチマーク上で最先端のパフォーマンスを達成することを実証した。
論文 参考訳(メタデータ) (2020-03-26T13:21:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。