論文の概要: Beyond Uniform Scaling: Exploring Depth Heterogeneity in Neural Architectures

• arxiv url: http://arxiv.org/abs/2402.12418v1
• Date: Mon, 19 Feb 2024 09:52:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 18:52:42.384892
• Title: Beyond Uniform Scaling: Exploring Depth Heterogeneity in Neural Architectures
• Title（参考訳）: 一様スケーリングを超えて:ニューラルネットワークアーキテクチャにおける深さの多様性を探求する
• Authors: Akash Guna R.T, Arnav Chavan, Deepak Gupta
• Abstract要約: 本稿では,2次損失景観情報を活用した自動スケーリング手法を提案する。 我々の手法は、現代の視覚変換器におけるメインステイの接続をスキップするために柔軟である。 本稿では,視覚変換器の最初の無傷スケーリング機構について紹介する。
• 参考スコア（独自算出の注目度）: 9.91972450276408
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Conventional scaling of neural networks typically involves designing a base network and growing different dimensions like width, depth, etc. of the same by some predefined scaling factors. We introduce an automated scaling approach leveraging second-order loss landscape information. Our method is flexible towards skip connections a mainstay in modern vision transformers. Our training-aware method jointly scales and trains transformers without additional training iterations. Motivated by the hypothesis that not all neurons need uniform depth complexity, our approach embraces depth heterogeneity. Extensive evaluations on DeiT-S with ImageNet100 show a 2.5% accuracy gain and 10% parameter efficiency improvement over conventional scaling. Scaled networks demonstrate superior performance upon training small scale datasets from scratch. We introduce the first intact scaling mechanism for vision transformers, a step towards efficient model scaling.
• Abstract（参考訳）: 従来のニューラルネットワークのスケーリングでは、基本ネットワークの設計と、事前定義されたスケーリング要因によって同じ幅や深さなどの異なる次元の成長が一般的である。 本稿では,2次損失景観情報を活用した自動スケーリング手法を提案する。 我々の手法は、現代の視覚変換器のメインステイをスキップするために柔軟である。 本手法は, 追加の訓練をすることなく, 変圧器をスケール・トレインする。 全てのニューロンが一様深さの複雑さを必要とするわけではないという仮説によって、我々のアプローチは深度の不均一性を受け入れる。 ImageNet100によるDeiT-Sの大規模な評価では、従来のスケーリングよりも精度が2.5%向上し、パラメータ効率が10%向上した。 スケールドネットワークは、スクラッチから小さなデータセットをトレーニングすることで、優れたパフォーマンスを示す。 本稿では,視覚変換器の最初の無傷スケーリング機構について紹介する。

関連論文リスト

• Scale Propagation Network for Generalizable Depth Completion [16.733495588009184]
  入力から出力までのスケールを伝搬する新しいスケール伝搬正規化法(SP-Norm)を提案する。 また,SP-NormとConvNeXt V2のバックボーンをベースとした新しいネットワークアーキテクチャを開発した。 我々のモデルは、最先端の手法と比較して、高速かつ低メモリで常に最高の精度を達成している。
  論文  参考訳（メタデータ） (2024-10-24T03:53:06Z)
• Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
  我々は、失われたヘッセンのレンズを通して風景を研究する。 我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。 ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Meta-Principled Family of Hyperparameter Scaling Strategies [9.89901717499058]
  広範かつ深いニューラルネットワークのための動的オブザーバブル(ネットワーク出力、ニューラルタンジェントカーネル、ニューラルタンジェントカーネルの差分)のスケーリングを計算する。 文献で調べた無限幅制限は、相互接続されたウェブの異なる角に対応する。
  論文  参考訳（メタデータ） (2022-10-10T18:00:01Z)
• Scale Attention for Learning Deep Face Representation: A Study Against Visual Scale Variation [69.45176408639483]
  我々はスケール空間理論に頼って凸層を再構築する。 我々はSCale AttentioN Conv Neural Network(textbfSCAN-CNN)という新しいスタイルを構築した。 単発方式として、推論はマルチショット融合よりも効率的である。
  論文  参考訳（メタデータ） (2022-09-19T06:35:04Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• ProFormer: Learning Data-efficient Representations of Body Movement with Prototype-based Feature Augmentation and Visual Transformers [31.908276711898548]
  身体からのデータ効率の高い認識法は、画像のような配列として構造化された骨格配列をますます活用している。 我々は、このパラダイムをトランスフォーマーネットワークの観点から見て、初めて、骨格運動のデータ効率の高いエンコーダとして視覚トランスフォーマーを探索する。 私たちのパイプラインでは、画像のような表現としてキャストされたボディポーズシーケンスをパッチ埋め込みに変換し、深いメトリック学習に最適化されたビジュアルトランスフォーマーバックボーンに渡します。
  論文  参考訳（メタデータ） (2022-02-23T11:11:54Z)
• Exploiting Invariance in Training Deep Neural Networks [4.169130102668252]
  動物視覚システムの2つの基本的なメカニズムに触発され、ディープニューラルネットワークのトレーニングに不変性を与える特徴変換技術を紹介します。 結果として得られるアルゴリズムはパラメータチューニングを少なくし、初期学習率1.0でうまくトレーニングし、異なるタスクに簡単に一般化する。 ImageNet、MS COCO、Cityscapesデータセットでテストされた当社の提案手法は、トレーニングにより少ないイテレーションを必要とし、すべてのベースラインを大きなマージンで上回り、小規模および大規模のバッチサイズのトレーニングをシームレスに行い、画像分類、オブジェクト検出、セマンティックセグメンテーションの異なるコンピュータビジョンタスクに適用します。
  論文  参考訳（メタデータ） (2021-03-30T19:18:31Z)
• Vision Transformers for Dense Prediction [77.34726150561087]
  高密度予測タスクのバックボーンとして、畳み込みネットワークの代わりにビジョントランスを活用するアーキテクチャである高密度ビジョントランスを紹介します。 実験により,このアーキテクチャは高密度予測タスクにおいて大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-03-24T18:01:17Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。