論文の概要: GradSign: Model Performance Inference with Theoretical Insights
- arxiv url: http://arxiv.org/abs/2110.08616v1
- Date: Sat, 16 Oct 2021 17:03:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 17:12:22.397067
- Title: GradSign: Model Performance Inference with Theoretical Insights
- Title（参考訳）: GradSign: 理論的洞察によるモデルパフォーマンス推論
- Authors: Zhihao Zhang, Zhihao Jia
- Abstract要約: 理論的な洞察を伴うモデル性能推定のための正確でシンプルで柔軟な指標であるGradSignを提案する。
我々はGradSignが現実世界のネットワークによく適応し、Spearman's rho と Kendall's Tau によって評価された MPI の最先端勾配に基づく手法を一貫して上回っていることを示す。
- 参考スコア（独自算出の注目度）: 2.4112990554464235
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A key challenge in neural architecture search (NAS) is quickly inferring the
predictive performance of a broad spectrum of networks to discover
statistically accurate and computationally efficient ones. We refer to this
task as model performance inference (MPI). The current practice for efficient
MPI is gradient-based methods that leverage the gradients of a network at
initialization to infer its performance. However, existing gradient-based
methods rely only on heuristic metrics and lack the necessary theoretical
foundations to consolidate their designs. We propose GradSign, an accurate,
simple, and flexible metric for model performance inference with theoretical
insights. The key idea behind GradSign is a quantity {\Psi} to analyze the
optimization landscape of different networks at the granularity of individual
training samples. Theoretically, we show that both the network's training and
true population losses are proportionally upper-bounded by {\Psi} under
reasonable assumptions. In addition, we design GradSign, an accurate and simple
approximation of {\Psi} using the gradients of a network evaluated at a random
initialization state. Evaluation on seven NAS benchmarks across three training
datasets shows that GradSign generalizes well to real-world networks and
consistently outperforms state-of-the-art gradient-based methods for MPI
evaluated by Spearman's {\rho} and Kendall's Tau. Additionally, we integrate
GradSign into four existing NAS algorithms and show that the GradSign-assisted
NAS algorithms outperform their vanilla counterparts by improving the
accuracies of best-discovered networks by up to 0.3%, 1.1%, and 1.0% on three
real-world tasks.
- Abstract（参考訳）: neural architecture search (nas) の重要な課題は、統計学的に正確で計算効率の良いものを見つけるために、幅広いネットワークの予測性能を素早く推測することである。
このタスクをモデル性能推論(MPI)と呼ぶ。
効率的なMPIの現在の実践は、ネットワークの初期化時の勾配を利用してその性能を推定する勾配に基づく手法である。
しかし、既存の勾配に基づく手法はヒューリスティックな指標にのみ依存しており、設計を統合するために必要な理論的基盤が欠如している。
理論的な洞察を伴うモデル性能推定のための正確でシンプルで柔軟な指標であるGradSignを提案する。
GradSignの背後にある重要なアイデアは、個々のトレーニングサンプルの粒度で異なるネットワークの最適化ランドスケープを分析するための量 {\Psi} である。
理論的には、ネットワークのトレーニングと真の人口損失の両方が、合理的な仮定の下では {\Psi} によって比例的に上界であることが示される。
さらに、ランダム初期化状態で評価されたネットワークの勾配を用いて、精度が高く簡単な {\Psi} 近似である GradSign を設計する。
3つのトレーニングデータセットにわたる7つのNASベンチマークの評価は、GradSignが現実世界のネットワークによく一般化し、Spearman's {\rho} と Kendall's Tau によって評価された MPI の最先端勾配ベースの手法を一貫して上回っていることを示している。
さらに、GradSignを4つの既存のNASアルゴリズムに統合し、GradSign支援NASアルゴリズムが3つの実世界のタスクにおいて、最高の発見ネットワークの精度を最大0.3%、1.1%、1.0%改善することで、彼らのバニラアルゴリズムよりも優れていることを示す。
関連論文リスト
- YOSO: You-Only-Sample-Once via Compressed Sensing for Graph Neural Network Training [9.02251811867533]
YOSO(You-Only-Sample-Once)は、予測精度を維持しながら効率的なトレーニングを実現するアルゴリズムである。
YOSOは、正規直交基底計算のような従来の圧縮センシング(CS)法で高価な計算を避けるだけでなく、高い確率精度の保持も保証している。
論文 参考訳（メタデータ） (2024-11-08T16:47:51Z) - Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。
適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。
我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文 参考訳（メタデータ） (2023-07-07T15:03:42Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - AIO-P: Expanding Neural Performance Predictors Beyond Image
Classification [22.743278613519152]
アーキテクチャの例でニューラルネットワーク予測器を事前訓練するための新しいオールインワン予測器(AIO-P)を提案する。
AIO-Pは平均絶対誤差(MAE)とスピアマンランク相関(SRCC)をそれぞれ1%以下と0.5以上で達成できる。
論文 参考訳（メタデータ） (2022-11-30T18:30:41Z) - Network Gradient Descent Algorithm for Decentralized Federated Learning [0.2867517731896504]
本稿では,コミュニケーションベースネットワーク上で実行される新しい勾配勾配アルゴリズムである,完全に分散化されたフェデレーション学習アルゴリズムについて検討する。
NGD法では、統計(パラメータ推定など)のみを通信し、プライバシーのリスクを最小限に抑える必要がある。
学習速度とネットワーク構造の両方が,NGD推定器の統計的効率を決定する上で重要な役割を担っていることがわかった。
論文 参考訳（メタデータ） (2022-05-06T02:53:31Z) - Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。
SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。
その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文 参考訳（メタデータ） (2021-12-15T09:50:25Z) - Proxy Convexity: A Unified Framework for the Analysis of Neural Networks
Trained by Gradient Descent [95.94432031144716]
学習ネットワークの分析のための統合された非最適化フレームワークを提案する。
既存の保証は勾配降下により統一することができることを示す。
論文 参考訳（メタデータ） (2021-06-25T17:45:00Z) - Robust Learning via Persistency of Excitation [4.674053902991301]
勾配勾配勾配を用いたネットワークトレーニングは力学系パラメータ推定問題と等価であることを示す。
極値理論を用いて対応するリプシッツ定数を推定する効率的な手法を提案する。
我々の手法は、様々な最先端の対数訓練モデルにおいて、対数精度を0.1%から0.3%に普遍的に向上させる。
論文 参考訳（メタデータ） (2021-06-03T18:49:05Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z) - The duality structure gradient descent algorithm: analysis and applications to neural networks [0.0]
本稿では,非漸近的性能解析に寄与する双対構造勾配降下法(DSGD)を提案する。
いくつかのニューラルネットワークトレーニングシナリオにおいて,DSGDの動作を実証的に示す。
論文 参考訳（メタデータ） (2017-08-01T21:24:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。