論文の概要: GradAlign for Training-free Model Performance Inference

• arxiv url: http://arxiv.org/abs/2411.19819v1
• Date: Fri, 29 Nov 2024 16:27:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:19:18.349450
• Title: GradAlign for Training-free Model Performance Inference
• Title（参考訳）: 学習不要モデル性能推論のためのGradAlign
• Authors: Yuxuan Li, Yunhui Guo,
• Abstract要約: トレーニングフリーなニューラルアーキテクチャサーチ(NAS)は、広範なトレーニングを必要とせずに理想的なアーキテクチャを発見することを目的としている。 GradAlignは、トレーニングを必要とせずにモデルパフォーマンスを推論するために設計された、シンプルで効果的な方法である。
• 参考スコア（独自算出の注目度）: 11.578933730530832
• License:
• Abstract: Architecture plays an important role in deciding the performance of deep neural networks. However, the search for the optimal architecture is often hindered by the vast search space, making it a time-intensive process. Recently, a novel approach known as training-free neural architecture search (NAS) has emerged, aiming to discover the ideal architecture without necessitating extensive training. Training-free NAS leverages various indicators for architecture selection, including metrics such as the count of linear regions, the density of per-sample losses, and the stability of the finite-width Neural Tangent Kernel (NTK) matrix. Despite the competitive empirical performance of current training-free NAS techniques, they suffer from certain limitations, including inconsistent performance and a lack of deep understanding. In this paper, we introduce GradAlign, a simple yet effective method designed for inferring model performance without the need for training. At its core, GradAlign quantifies the extent of conflicts within per-sample gradients during initialization, as substantial conflicts hinder model convergence and ultimately result in worse performance. We evaluate GradAlign against established training-free NAS methods using standard NAS benchmarks, showing a better overall performance. Moreover, we show that the widely adopted metric of linear region count may not suffice as a dependable criterion for selecting network architectures during at initialization.
• Abstract（参考訳）: アーキテクチャは、ディープニューラルネットワークのパフォーマンスを決定する上で重要な役割を果たす。 しかし、最適アーキテクチャの探索は、しばしば膨大な検索空間によって妨げられ、時間を要するプロセスとなっている。 近年、大規模なトレーニングを必要とせずに理想的なアーキテクチャを発見することを目的とした、トレーニングフリーニューラルネットワークサーチ(NAS)と呼ばれる新しいアプローチが出現している。 トレーニングフリーNASは、線形領域のカウント、サンプル当たりの損失密度、有限幅ニューラルタンジェントカーネル(NTK)行列の安定性など、様々な指標をアーキテクチャ選択に活用している。 現行のトレーニングフリーNAS技術の競争力のある経験的パフォーマンスにもかかわらず、一貫性のないパフォーマンスや深い理解の欠如など、ある種の制限に悩まされている。 本稿では,モデル性能をトレーニング不要に推定するために設計された,シンプルで効果的なGradAlignを紹介する。 中心となるGradAlignは、初期化時にサンプル単位の勾配内での競合の程度を定量化します。 標準NASベンチマークを用いて、GradAlignをトレーニング不要なNASメソッドに対して評価し、全体的な性能が向上したことを示す。 さらに、線形領域数の広く採用されているメートル法は、初期化時にネットワークアーキテクチャを選択するための信頼性の高い基準として十分でないことを示す。

関連論文リスト

• Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
  本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。 注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
  論文  参考訳（メタデータ） (2024-03-12T12:24:11Z)
• Robust Model-Based Optimization for Challenging Fitness Landscapes [96.63655543085258]
  タンパク質の設計には、フィットネスのランドスケープの最適化が含まれる。 指導法は, トレーニングセットにおける高適合度サンプルの多彩さに課題を呈する。 デザイン空間における「分離」というこの問題は、既存のモデルベース最適化ツールにおいて重大なボトルネックとなっていることを示す。 本稿では,新しいVAEを検索モデルとして利用して問題を克服する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T03:47:32Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Demystifying the Neural Tangent Kernel from a Practical Perspective: Can it be trusted for Neural Architecture Search without training? [37.29036906991086]
  本研究では,ニューラルタンジェントカーネル(NTK)から導出できるいくつかの初期化指標を再検討する。 現代のニューラルアーキテクチャは、高い非線形特性を示しており、NTKベースのメトリクスは、ある程度のトレーニングを伴わずに、アーキテクチャのパフォーマンスを確実に見積もることができる。 これはNTKに基づく新しい計量であり、その固有な定式化により、現代のニューラルアーキテクチャに存在する多くの非線形優位性を捉えることができる。
  論文  参考訳（メタデータ） (2022-03-28T08:43:04Z)
• KNAS: Green Neural Architecture Search [49.36732007176059]
  我々は新しいカーネルベースのアーキテクチャ探索手法KNASを提案する。 実験により、KNASは画像分類タスクにおける「列車試験」パラダイムよりも桁違いに高速な競合結果が得られることが示された。 検索されたネットワークは、2つのテキスト分類タスクで強力なベースラインであるRoBERTAよりも優れています。
  論文  参考訳（メタデータ） (2021-11-26T02:11:28Z)
• Connection Sensitivity Matters for Training-free DARTS: From Architecture-Level Scoring to Operation-Level Sensitivity Analysis [32.94768616851585]
  最近提案されたトレーニングフリーNAS手法は、トレーニングフェーズを放棄し、優れたアーキテクチャを識別するためのスコアとして、さまざまなゼロコストプロキシを設計する。 本稿では, DARTSにおける操作重要度を, パラメータ集中バイアスを回避して, トレーニング不要な方法で適切に測定できるか, という問題を提起する。 ZEROSをNASに活用するための反復的かつデータに依存しない手法を考案することにより、新しい試行は自由微分型アーキテクチャサーチ(FreeDARTS)と呼ばれるフレームワークに繋がる。
  論文  参考訳（メタデータ） (2021-06-22T04:40:34Z)
• SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
  本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。 SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。 実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
  論文  参考訳（メタデータ） (2020-07-15T11:21:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。