論文の概要: Zero-Shot Neural Network Evaluation with Sample-Wise Activation Patterns

• arxiv url: http://arxiv.org/abs/2605.07378v1
• Date: Fri, 08 May 2026 07:33:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.889516
• Title: Zero-Shot Neural Network Evaluation with Sample-Wise Activation Patterns
• Title（参考訳）: サンプル幅活性化パターンを用いたゼロショットニューラルネットワークの評価
• Authors: Yameng Peng, Andy Song, HaythamM. Fayek, Vic Ciesielski, Xiaojun Chang,
• Abstract要約: SWAPスコア(SWAP-Score, SWAP-Score, SWAP-Score)を提案する。 SWAP-Scoreはアーキテクチャファミリとタスクドメインの両方に広く適用できる。 コンピュータビジョンや自然言語処理タスクにおいて、既存のゼロショットメトリックよりも優れています。
• 参考スコア（独自算出の注目度）: 44.380310717314735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot proxies, also known as training-free metrics, are widely adopted to reduce the computational overhead in neural network evaluation for scenarios such as Neural Architecture Search (NAS), as they do not require any training. Existing zero-shot metrics have several limitations, including weak correlation with the true performance and poor generalisation across different networks or downstream tasks. For example, most of these metrics apply only to either convolutional neural networks (CNNs) or Transformers, but not both. To address these limitations, we propose Sample-Wise Activation Patterns (SWAP), and its derivative, SWAP-Score, a novel and highly effective zero-shot metric. SWAP-Score is broadly applicable across both architecture families and task domains, demonstrating strong predictive performance in the majority of tasks. This metric measures the expressivity of neural networks over a mini-batch of samples, showing a high correlation with the neural networks' ground-truth performance. For both CNNs and Transformers, the SWAP-Score outperforms existing zero-shot metrics across computer vision and natural language processing tasks. For instance, Spearman's correlation coefficient between the SWAP-Score and CIFAR-10 validation accuracy for DARTS CNNs is 0.93, and 0.71 for FlexiBERT Transformers on GLUE tasks. Moreover, SWAP-Score is label-independent, hence can be applied at the pre-training stage of language models to estimate their performance for downstream tasks. When applied to NAS, SWAP-empowered NAS, SWAP-NAS can achieve competitive performance using only approximately 6 and 9 minutes of GPU time, on CIFAR-10 and ImageNet respectively. Our code is available at: https://github.com/pym1024/SWAP_Universal
• Abstract（参考訳）: ゼロショットプロキシ(英: Zero-shot proxies)またはトレーニングフリーメトリクス(英: training-free metrics)は、ニューラルネットワーク評価における計算オーバーヘッドを減らすために広く採用されている。 既存のゼロショットメトリクスには、真のパフォーマンスとの弱い相関や、異なるネットワークや下流タスク間の一般化の低さなど、いくつかの制限がある。 例えば、これらの指標のほとんどは、畳み込みニューラルネットワーク(CNN)またはトランスフォーマーにのみ適用されるが、両方ではない。 これらの制約に対処するため,Sample-Wise Activation Patterns (SWAP)とその派生品であるSWAP-Scoreを提案する。 SWAP-Scoreは、アーキテクチャファミリとタスクドメインの両方に広く適用されており、ほとんどのタスクにおいて強力な予測性能を示している。 この測定基準は、サンプルのミニバッチ上でのニューラルネットワークの表現率を測定し、ニューラルネットワークのグランドトルース性能と高い相関を示す。 CNNとTransformersの両方にとって、SWAP-Scoreは、コンピュータビジョンと自然言語処理タスクにおける既存のゼロショットメトリックよりも優れています。 例えば、DARTS CNNのSWAP-ScoreとCIFAR-10の相関係数は、GLUEタスク上のFlexiBERT変換器の0.93と0.71である。 さらに、SWAP-Scoreはラベルに依存しないので、言語モデルの事前学習段階に適用して、下流タスクのパフォーマンスを推定することができる。 NASに適用した場合、SWAP-NASは、それぞれCIFAR-10とImageNetで、GPU時間の約6分と9分で競合性能を達成できる。 私たちのコードは、https://github.com/pym1024/SWAP_Universal.comで利用可能です。

関連論文リスト

• SWAP-NAS: Sample-Wise Activation Patterns for Ultra-fast NAS [35.041289296298565]
  トレーニング不要のメトリクスは、リソース集約型ニューラルネットワークトレーニングを避けるために広く使用されている。 我々は,新しい高性能トレーニングフリーメトリックであるSWAP-ScoreとSample-Wise Activation Patternsを提案する。 SWAP-Scoreは,様々な検索空間やタスクの接地構造と強く相関している。
  論文  参考訳（メタデータ） (2024-03-07T02:40:42Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。