論文の概要: When Training-Free NAS Meets Vision Transformer: A Neural Tangent Kernel Perspective

• arxiv url: http://arxiv.org/abs/2405.04536v1
• Date: Fri, 15 Mar 2024 10:12:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 10:40:42.736875
• Title: When Training-Free NAS Meets Vision Transformer: A Neural Tangent Kernel Perspective
• Title（参考訳）: トレーニング不要なNASが視覚変換器に出会ったとき:ニューラル・タンジェント・カーネル・パースペクティブ
• Authors: Qiqi Zhou, Yichen Zhu,
• Abstract要約: ViT における基本的特徴学習の嗜好は,NTK を NTK を ViT に適用することの非効率性に寄与することを示す。 入力からフーリエ特徴を統合することで、標準NTKを高周波領域に一般化するViNTKと呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 7.689732478419026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates the Neural Tangent Kernel (NTK) to search vision transformers without training. In contrast with the previous observation that NTK-based metrics can effectively predict CNNs performance at initialization, we empirically show their inefficacy in the ViT search space. We hypothesize that the fundamental feature learning preference within ViT contributes to the ineffectiveness of applying NTK to NAS for ViT. We both theoretically and empirically validate that NTK essentially estimates the ability of neural networks that learn low-frequency signals, completely ignoring the impact of high-frequency signals in feature learning. To address this limitation, we propose a new method called ViNTK that generalizes the standard NTK to the high-frequency domain by integrating the Fourier features from inputs. Experiments with multiple ViT search spaces on image classification and semantic segmentation tasks show that our method can significantly speed up search costs over prior state-of-the-art NAS for ViT while maintaining similar performance on searched architectures.
• Abstract（参考訳）: 本稿では、トレーニングなしで視覚変換器を探索するためのNutral Tangent Kernel(NTK)について検討する。 NTKベースのメトリクスが初期化時のCNNのパフォーマンスを効果的に予測できるという以前の観測とは対照的に、我々はViT検索空間においてそれらの非効率性を実証的に示す。 本稿は, NTK を NTK を NAS に適用することの非効率性に寄与すると考えられる。 我々は、NTKが本質的に低周波信号を学習するニューラルネットワークの能力を推定し、特徴学習における高周波信号の影響を完全に無視していることを理論的および実証的に検証した。 この制限に対処するため、入力からフーリエ特徴を統合することで標準NTKを高周波領域に一般化するViNTKと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションタスクにおける複数のViT探索空間を用いた実験により,検索アーキテクチャ上での類似性能を維持しつつ,従来のNASよりも検索コストを大幅に高速化できることが示された。

関連論文リスト

• Structured Initialization for Attention in Vision Transformers [34.374054040300805]
  畳み込みニューラルネットワーク(CNN)は、アーキテクチャ上の帰納バイアスを持ち、小規模な問題に対してうまく機能する。 我々は、CNNに固有のアーキテクチャバイアスを、ViT内の初期化バイアスとして再解釈することができると論じる。 この洞察は、ViTsが大規模アプリケーションに対する柔軟性を維持しながら、小規模問題でも同じように機能する権限を付与する上で重要である。
  論文  参考訳（メタデータ） (2024-04-01T14:34:47Z)
• Analyzing the Neural Tangent Kernel of Periodically Activated Coordinate Networks [30.92757082348805]
  ニューラルタンジェントカーネル(NTK)の解析を通して周期的に活性化されるネットワークの理論的理解を提供する。 NTKの観点から,周期的に活性化されるネットワークは,ReLU活性化ネットワークよりもテキスト的に良好であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-07T12:06:52Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• Limitations of the NTK for Understanding Generalization in Deep Learning [13.44676002603497]
  我々はNTKをスケーリング法則のレンズを通して研究し、ニューラルネットワークの一般化の重要な側面を説明するには不十分であることを示した。 実験的なNTKを一定数のサンプルで事前トレーニングしても、カーネルのスケーリングはニューラルネットワークのスケーリングに追いつかなくなる。
  論文  参考訳（メタデータ） (2022-06-20T21:23:28Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Neural Tangent Kernel Analysis of Deep Narrow Neural Networks [11.623483126242478]
  無限に深いが狭いニューラルネットワークの最初のトレーニング可能性保証を示す。 次に、解析を無限深部畳み込みニューラルネットワーク(CNN)に拡張し、簡単な実験を行う。
  論文  参考訳（メタデータ） (2022-02-07T07:27:02Z)
• Self-slimmed Vision Transformer [52.67243496139175]
  視覚変換器(ViT)は、様々な視覚タスクにおいて一般的な構造となり、CNN(Creative Convolutional Neural Network)よりも優れています。 本稿では,バニラVT,すなわちSiTに対する汎用的な自己スリム学習手法を提案する。 具体的には、まず、ViTの推論効率を向上させる新しいToken Slimming Module (TSM) を設計する。
  論文  参考訳（メタデータ） (2021-11-24T16:48:57Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• The Recurrent Neural Tangent Kernel [11.591070761599328]
  本稿では、過度にパラメータ化されたRNNの動作に関する新たな洞察を提供するRNTK(Recurrent Neural Tangent Kernel)を紹介し、研究する。 56個の実世界のデータ実験により、RNTKは他のカーネルよりも大幅に性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-06-18T02:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。