論文の概要: SalNAS: Efficient Saliency-prediction Neural Architecture Search with self-knowledge distillation

• arxiv url: http://arxiv.org/abs/2407.20062v1
• Date: Mon, 29 Jul 2024 14:48:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 13:24:58.403836
• Title: SalNAS: Efficient Saliency-prediction Neural Architecture Search with self-knowledge distillation
• Title（参考訳）: SalNAS: 自己知識蒸留による高効率塩分予測ニューラルアーキテクチャ探索
• Authors: Chakkrit Termritthikun, Ayaz Umer, Suwichaya Suwanwimolkul, Feng Xia, Ivan Lee,
• Abstract要約: 近年の深部畳み込み型ニューラルネットワークの進歩により,サリエンシ予測の性能が大幅に向上した。 本稿では,2つのコントリビューションを持つ有能性予測のためのニューラルアーキテクチャ検索フレームワークを提案する。 自己KDを利用することで、SalNASは、ほとんどの評価ルーリックにおいて、他の最先端の精度予測モデルより優れている。
• 参考スコア（独自算出の注目度）: 7.625269122161064
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advancements in deep convolutional neural networks have significantly improved the performance of saliency prediction. However, the manual configuration of the neural network architectures requires domain knowledge expertise and can still be time-consuming and error-prone. To solve this, we propose a new Neural Architecture Search (NAS) framework for saliency prediction with two contributions. Firstly, a supernet for saliency prediction is built with a weight-sharing network containing all candidate architectures, by integrating a dynamic convolution into the encoder-decoder in the supernet, termed SalNAS. Secondly, despite the fact that SalNAS is highly efficient (20.98 million parameters), it can suffer from the lack of generalization. To solve this, we propose a self-knowledge distillation approach, termed Self-KD, that trains the student SalNAS with the weighted average information between the ground truth and the prediction from the teacher model. The teacher model, while sharing the same architecture, contains the best-performing weights chosen by cross-validation. Self-KD can generalize well without the need to compute the gradient in the teacher model, enabling an efficient training system. By utilizing Self-KD, SalNAS outperforms other state-of-the-art saliency prediction models in most evaluation rubrics across seven benchmark datasets while being a lightweight model. The code will be available at https://github.com/chakkritte/SalNAS
• Abstract（参考訳）: 近年の深部畳み込み型ニューラルネットワークの進歩により,サリエンシ予測の性能が大幅に向上した。 しかしながら、ニューラルネットワークアーキテクチャのマニュアル構成には、ドメイン知識の専門知識が必要で、それでも時間がかかり、エラーが発生しやすい。 これを解決するために,2つのコントリビューションを持つ有能性予測のためのニューラルアーキテクチャ検索(NAS)フレームワークを提案する。 第一に、SalNASと呼ばれるスーパーネット内のエンコーダデコーダに動的畳み込みを組み込むことにより、すべての候補アーキテクチャを含む重み共有ネットワークを用いて、サリエンシ予測用のスーパーネットを構築する。 第二に、SalNASは非常に効率的な(2098万のパラメータ)にもかかわらず、一般化の欠如に悩まされることがある。 そこで本研究では,SalNASを教師モデルからの予測と地上の真実の間に重み付けされた平均情報で訓練する自己知識蒸留手法であるSelf-KDを提案する。 教師モデルは、同じアーキテクチャを共有しながら、クロスバリデーションによって選択された最高のパフォーマンスのウェイトを含んでいる。 自己KDは教師モデルの勾配を計算する必要がなく、より効率的な訓練システムを実現することができる。 Self-KDを利用することで、SalNASは軽量なモデルでありながら、7つのベンチマークデータセットにまたがるほとんどの評価ルーブリックにおいて、他の最先端のサリエンシ予測モデルよりも優れています。 コードはhttps://github.com/chakkritte/SalNASで入手できる。

関連論文リスト

• Mixture-of-Supernets: Improving Weight-Sharing Supernet Training with Architecture-Routed Mixture-of-Experts [55.470959564665705]
  ウェイトシェアリングスーパーネットは、最先端のニューラルサーチフレームワークのパフォーマンス評価に不可欠である。 提案手法は,高速機械翻訳モデルのためのNASにおける最先端(SoTA)性能を実現する。 メモリ効率のよいタスク非依存のBERTモデルを構築するためにNASが優れている。
  論文  参考訳（メタデータ） (2023-06-08T00:35:36Z)
• Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
  Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。 本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:00:35Z)
• GP-NAS-ensemble: a model for NAS Performance Prediction [6.785608131249699]
  GP-NASアンサンブルは、小さなトレーニングデータセットでニューラルネットワークアーキテクチャのパフォーマンスを予測するために提案されている。 CVPR2022第2級軽量NASチャレンジ性能予測トラックの2位にランクインする。
  論文  参考訳（メタデータ） (2023-01-23T00:17:52Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
  我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。 Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。 NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-27T06:40:39Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• PEng4NN: An Accurate Performance Estimation Engine for Efficient Automated Neural Network Architecture Search [0.0]
  ニューラルネットワーク(NN)モデルは、科学シミュレーションやAI、その他の高性能コンピューティング分野でますます利用されている。 NASは、NN機能をキャプチャする主要なメトリクスによってパフォーマンスが測定される特殊なダットセットに対して、優れたパフォーマンスのNNモデルを見つけようとする。 本稿では,NNのトレーニングリソースを削減し,NASスループットを向上する性能推定手法を提案する。
  論文  参考訳（メタデータ） (2021-01-11T20:49:55Z)
• Direct Federated Neural Architecture Search [0.0]
  本稿では,ハードウェアに依存せず,計算的に軽量な直接フェデレーションNASと,準備の整ったニューラルネットワークモデルを探すためのワンステージ手法を提案する。 以上の結果から, 従来技術の精度向上を図りながら, 資源消費の大幅な削減を図った。
  論文  参考訳（メタデータ） (2020-10-13T08:11:35Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。