論文の概要: VanillaNet: the Power of Minimalism in Deep Learning

• arxiv url: http://arxiv.org/abs/2305.12972v2
• Date: Tue, 23 May 2023 12:51:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 10:51:58.827736
• Title: VanillaNet: the Power of Minimalism in Deep Learning
• Title（参考訳）: VanillaNet: ディープラーニングにおけるミニマリズムの力
• Authors: Hanting Chen, Yunhe Wang, Jianyuan Guo, Dacheng Tao
• Abstract要約: VanillaNetは、設計におけるエレガンスを受け入れるニューラルネットワークアーキテクチャである。 それは固有の複雑さの課題を克服し、リソースに制約のある環境に理想的です。
• 参考スコア（独自算出の注目度）: 110.74294309583482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: At the heart of foundation models is the philosophy of "more is different", exemplified by the astonishing success in computer vision and natural language processing. However, the challenges of optimization and inherent complexity of transformer models call for a paradigm shift towards simplicity. In this study, we introduce VanillaNet, a neural network architecture that embraces elegance in design. By avoiding high depth, shortcuts, and intricate operations like self-attention, VanillaNet is refreshingly concise yet remarkably powerful. Each layer is carefully crafted to be compact and straightforward, with nonlinear activation functions pruned after training to restore the original architecture. VanillaNet overcomes the challenges of inherent complexity, making it ideal for resource-constrained environments. Its easy-to-understand and highly simplified architecture opens new possibilities for efficient deployment. Extensive experimentation demonstrates that VanillaNet delivers performance on par with renowned deep neural networks and vision transformers, showcasing the power of minimalism in deep learning. This visionary journey of VanillaNet has significant potential to redefine the landscape and challenge the status quo of foundation model, setting a new path for elegant and effective model design. Pre-trained models and codes are available at https://github.com/huawei-noah/VanillaNet and https://gitee.com/mindspore/models/tree/master/research/cv/vanillanet.
• Abstract（参考訳）: 基礎モデルの核心は「より異なる」という哲学であり、コンピュータビジョンと自然言語処理の驚くべき成功によって実証されている。 しかし、トランスフォーマーモデルの最適化と固有の複雑さの課題は、単純さへのパラダイムシフトである。 本研究では,設計のエレガンスを取り入れたニューラルネットワークアーキテクチャであるVanillaNetを紹介する。 深い奥行き、近道、セルフアテンションのような複雑な操作を避けることで、vanillanetは鮮やかに簡潔で、非常に強力です。 各層はコンパクトで素直に設計されており、元のアーキテクチャを復元するためにトレーニング後に非線形アクティベーション機能が切断されている。 VanillaNetは、固有の複雑さの課題を克服し、リソース制約のある環境に最適である。 理解しやすく、高度に単純化されたアーキテクチャは、効率的なデプロイメントの新たな可能性を開く。 広範な実験によって、vanillanetは有名なディープニューラルネットワークや視覚トランスフォーマーと同等のパフォーマンスを提供し、ディープラーニングにおけるミニマリズムのパワーを示している。 このバニラネットのヴィジュアルな旅は、景観を再定義し、基礎モデルの現状に挑戦し、エレガントで効果的なモデル設計のための新しい道を設定する大きな可能性を秘めている。 事前トレーニングされたモデルとコードは、https://github.com/huawei-noah/VanillaNetとhttps://gitee.com/mindspore/models/tree/master/research/cv/vanillanetで利用できる。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Learning Object-Centric Representation via Reverse Hierarchy Guidance [73.05170419085796]
  OCL(Object-Centric Learning)は、ニューラルネットワークが視覚的なシーンで個々のオブジェクトを識別できるようにする。 RHGNetは、トレーニングと推論プロセスにおいて、さまざまな方法で機能するトップダウンパスを導入している。 我々のモデルは、よく使われる複数のデータセット上でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2024-05-17T07:48:27Z)
• GloNets: Globally Connected Neural Networks [0.4194295877935868]
  ディープラーニングアーキテクチャは、ディープ関連のパフォーマンス劣化に悩まされ、ニューラルネットワークの効果的な深さが制限される。 深度関連問題を克服する新しいアーキテクチャであるGloNet(GloNet)を紹介する。 GloNetでは、ネットワークの頭は抽象化のレベルに関わらず、ネットワークのすべての部分から均一に情報を受信する。
  論文  参考訳（メタデータ） (2023-11-27T15:54:20Z)
• ElegansNet: a brief scientific report and initial experiments [0.0]
  ElegansNetは、現実世界のニューラルネットワーク回路を模倣するニューラルネットワークである。 自然ネットワークに似たトポロジを持つ改良されたディープラーニングシステムを生成する。
  論文  参考訳（メタデータ） (2023-04-06T13:51:04Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Efficient Neural Architecture Search with Performance Prediction [0.0]
  ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。 既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。 サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
  論文  参考訳（メタデータ） (2021-08-04T05:44:16Z)
• The Self-Simplifying Machine: Exploiting the Structure of Piecewise Linear Neural Networks to Create Interpretable Models [0.0]
  本稿では,分類タスクに対するPiecewise Linear Neural Networksの単純化と解釈性向上のための新しい手法を提案する。 我々の手法には、トレーニングを伴わずに、訓練された深層ネットワークを使用して、良好なパフォーマンスと単一隠れ層ネットワークを生成する方法が含まれる。 これらの手法を用いて,モデル性能の予備的研究およびウェルズ・ファーゴのホームレンディングデータセットのケーススタディを行う。
  論文  参考訳（メタデータ） (2020-12-02T16:02:14Z)
• Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural Architecture Search [60.965024145243596]
  ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。 この問題を軽減するため, 単純で効果的な蒸留法を提案する。 本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。 優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
  論文  参考訳（メタデータ） (2020-10-29T17:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。