論文の概要: GloNets: Globally Connected Neural Networks

• arxiv url: http://arxiv.org/abs/2311.15947v1
• Date: Mon, 27 Nov 2023 15:54:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 14:27:13.872464
• Title: GloNets: Globally Connected Neural Networks
• Title（参考訳）: GloNets:グローバルに接続されたニューラルネットワーク
• Authors: Antonio Di Cecco, Carlo Metta, Marco Fantozzi, Francesco Morandin, Maurizio Parton
• Abstract要約: ディープラーニングアーキテクチャは、ディープ関連のパフォーマンス劣化に悩まされ、ニューラルネットワークの効果的な深さが制限される。 深度関連問題を克服する新しいアーキテクチャであるGloNet(GloNet)を紹介する。 GloNetでは、ネットワークの頭は抽象化のレベルに関わらず、ネットワークのすべての部分から均一に情報を受信する。
• 参考スコア（独自算出の注目度）: 0.4194295877935868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning architectures suffer from depth-related performance degradation, limiting the effective depth of neural networks. Approaches like ResNet are able to mitigate this, but they do not completely eliminate the problem. We introduce Globally Connected Neural Networks (GloNet), a novel architecture overcoming depth-related issues, designed to be superimposed on any model, enhancing its depth without increasing complexity or reducing performance. With GloNet, the network's head uniformly receives information from all parts of the network, regardless of their level of abstraction. This enables GloNet to self-regulate information flow during training, reducing the influence of less effective deeper layers, and allowing for stable training irrespective of network depth. This paper details GloNet's design, its theoretical basis, and a comparison with existing similar architectures. Experiments show GloNet's self-regulation ability and resilience to depth-related learning challenges, like performance degradation. Our findings suggest GloNet as a strong alternative to traditional architectures like ResNets.
• Abstract（参考訳）: ディープラーニングアーキテクチャは、ニューラルネットワークの効果的な深さを制限するために、深さに関連したパフォーマンス低下に苦しむ。 ResNetのようなアプローチは、これを緩和できるが、問題を完全に排除するわけではない。 我々はGlobally Connected Neural Networks (GloNet)を紹介した。GloNetは深度に関連する問題を克服する新しいアーキテクチャで、あらゆるモデルに重畳され、複雑さを増大させることなく、性能を低下させるように設計されている。 GloNetでは、ネットワークの頭は抽象化のレベルに関わらず、ネットワークのすべての部分から均一に情報を受信する。 これにより、glonetはトレーニング中に情報フローを自己制御し、より効果的な深層の影響を低減し、ネットワークの深さに関係なく安定したトレーニングを可能にする。 本稿では,GloNetの設計,理論的基礎,および既存の類似アーキテクチャとの比較について述べる。 実験では、glonetの自己調節能力と、パフォーマンスの低下など、深い学習課題に対する弾力性が示されている。 我々の発見は、GloNetがResNetsのような従来のアーキテクチャの強力な代替となることを示唆している。

関連論文リスト

• NEPENTHE: Entropy-Based Pruning as a Neural Network Depth's Reducer [5.373015313199385]
  深層ニューラルネットワークの計算負担を軽減するため,nEural Network depTHのrEducerとしてeNtropy-basEdプルーニングを提案する。 我々はMobileNetやSwin-Tといった一般的なアーキテクチャに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2024-04-24T09:12:04Z)
• PirateNets: Physics-informed Deep Learning with Residual Adaptive Networks [19.519831541375144]
  本研究では,深いPINNモデルの安定かつ効率的なトレーニングを容易にするために物理インフォームドResidual Adaptive Networks(PirateNets)を導入する。 PirateNetsは、新たなアダプティブな残留接続を活用し、トレーニング中に徐々に深くなっていく浅いネットワークとしてネットワークを利用できる。 PirateNetsは最適化が容易で、精度が大幅に向上し、最終的には様々なベンチマークで最先端の結果が得られます。
  論文  参考訳（メタデータ） (2024-02-01T04:17:56Z)
• VanillaNet: the Power of Minimalism in Deep Learning [110.74294309583482]
  VanillaNetは、設計におけるエレガンスを受け入れるニューラルネットワークアーキテクチャである。 それは固有の複雑さの課題を克服し、リソースに制約のある環境に理想的です。
  論文  参考訳（メタデータ） (2023-05-22T12:27:27Z)
• Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization [1.3999481573773072]
  ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。 損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
  論文  参考訳（メタデータ） (2022-08-01T20:31:58Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Singular Value Perturbation and Deep Network Optimization [29.204852309828006]
  我々は,行列摂動に関する新たな理論的結果を開発し,アーキテクチャが深層ネットワークの性能に与える影響について光を当てる。 特に,ディープラーニング実践者が長年経験してきたことを説明する。深層アーキテクチャのパラメータは,他よりも容易に最適化できる。 摂動結果の直接的な応用は、ResNetがConvNetよりも簡単に最適化できる理由を解析的に説明します。
  論文  参考訳（メタデータ） (2022-03-07T02:09:39Z)
• Provable Regret Bounds for Deep Online Learning and Control [77.77295247296041]
  我々は、損失関数がニューラルネットワークのパラメータを最適化するために適応できることを示し、後から最も優れたネットと競合することを示す。 オンライン設定におけるこれらの結果の適用として、オンライン制御コントローラの証明可能なバウンダリを得る。
  論文  参考訳（メタデータ） (2021-10-15T02:13:48Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Error estimate for a universal function approximator of ReLU network with a local connection [4.111899441919163]
  我々は、局所接続で特定のニューラルネットワークアーキテクチャの近似誤差を解析し、完全な接続を持つものよりも高い適用率を示す。 私たちの誤差推定は、隠れた層の深さを制御するパラメータと、隠れた層の幅を制御するパラメータの2つに依存します。
  論文  参考訳（メタデータ） (2020-09-03T05:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。