論文の概要: Alpha-Net: Architecture, Models, and Applications

• arxiv url: http://arxiv.org/abs/2007.07221v1
• Date: Sat, 27 Jun 2020 05:05:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 07:32:40.891135
• Title: Alpha-Net: Architecture, Models, and Applications
• Title（参考訳）: Alpha-Net: アーキテクチャ、モデル、アプリケーション
• Authors: Jishan Shaikh, Adya Sharma, Ankit Chouhan, Avinash Mahawar
• Abstract要約: カスタムトレーニングと重み評価のための新しいネットワークアーキテクチャを提案する。 アーキテクチャの振る舞いを表現するために,Alpha-Netを4つの異なるレイヤ構成で実装する。 Alpha-Net v3では、ImageNetベンチマークで最新の最先端ネットワークであるResNet 50よりも3%精度が向上している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning network training is usually computationally expensive and intuitively complex. We present a novel network architecture for custom training and weight evaluations. We reformulate the layers as ResNet-similar blocks with certain inputs and outputs of their own, the blocks (called Alpha blocks) on their connection configuration form their own network, combined with our novel loss function and normalization function form the complete Alpha-Net architecture. We provided the empirical mathematical formulation of network loss function for more understanding of accuracy estimation and further optimizations. We implemented Alpha-Net with 4 different layer configurations to express the architecture behavior comprehensively. On a custom dataset based on ImageNet benchmark, we evaluate Alpha-Net v1, v2, v3, and v4 for image recognition to give the accuracy of 78.2%, 79.1%, 79.5%, and 78.3% respectively. The Alpha-Net v3 gives improved accuracy of approx. 3% over the last state-of-the-art network ResNet 50 on ImageNet benchmark. We also present an analysis of our dataset with 256, 512, and 1024 layers and different versions of the loss function. Input representation is also crucial for training as initial preprocessing will take only a handful of features to make training less complex than it needs to be. We also compared network behavior with different layer structures, different loss functions, and different normalization functions for better quantitative modeling of Alpha-Net.
• Abstract（参考訳）: ディープラーニングネットワークトレーニングは通常、計算コストが高く、直感的に複雑である。 カスタムトレーニングと重み評価のための新しいネットワークアーキテクチャを提案する。 我々は、レイヤをResNet類似ブロックとして、特定の入力と出力で再構成し、接続構成上のブロック(Alphaブロックと呼ばれる)を独自のネットワークとして、新しい損失関数と正規化関数を組み合わせて完全なAlpha-Netアーキテクチャを構築する。 精度推定とさらなる最適化をより理解するために,ネットワーク損失関数の経験的数学的定式化を行った。 アーキテクチャの動作を包括的に表現するために、4つの異なるレイヤ構成でalpha-netを実装した。 ImageNetベンチマークに基づくカスタムデータセットで、画像認識のためのAlpha-Net v1、v2、v3、v4を評価し、それぞれ78.2%、79.1%、79.5%、78.3%の精度を与える。 alpha-net v3は精度がほぼ向上した。 前回のImageNetベンチマークでは、ResNet 50が3%だった。 また,256層,512層,1024層,および損失関数の異なるバージョンを用いたデータセットの解析を行った。 初期前処理は、トレーニングを必要以上に複雑にするために、わずかな機能しか必要としないため、入力表現もトレーニングに不可欠である。 また、Alpha-Netの定量的モデリングのために、異なる層構造、異なる損失関数、異なる正規化関数とネットワーク挙動を比較した。

関連論文リスト

• Connection Reduction Is All You Need [0.10878040851637998]
  実証的な研究によると、畳み込みレイヤの積み重ねだけではネットワークのトレーニングが良くならない。 レイヤを接続する2つの新しいアルゴリズムを提案する。 ShortNet1は、Baselineよりも5%低いテストエラー率と25%速い推論時間を持っている。
  論文  参考訳（メタデータ） (2022-08-02T13:00:35Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• SmoothNets: Optimizing CNN architecture design for differentially private deep learning [69.10072367807095]
  DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。 これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。 SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
  論文  参考訳（メタデータ） (2022-05-09T07:51:54Z)
• Dynamic Resolution Network [40.64164953983429]
  現代のCNNの入力解像度の冗長性については、完全には研究されていない。 本稿では,各サンプルに基づいて動的に分解能を決定できる新しい動的分解能ネットワーク(DRNet)を提案する。 DRNetは34%の精度で同様の性能を実現しているが、ImageNetのResNet-50に比べて10%の精度で1.4%の精度向上を実現している。
  論文  参考訳（メタデータ） (2021-06-05T13:48:33Z)
• Wise-SrNet: A Novel Architecture for Enhancing Image Classification by Learning Spatial Resolution of Feature Maps [0.5892638927736115]
  畳み込みニューラルネットワークの進歩による大きな課題の1つは、抽出した特徴マップを最終分類層に接続する方法である。 本稿では,GAP層をWise-SrNetと呼ばれる新しいアーキテクチャに置き換えることで,この問題に対処する。 奥行きの畳み込みのアイデアにインスパイアされ、計算コストを増大させることなく空間分解能を処理するように設計されている。
  論文  参考訳（メタデータ） (2021-04-26T00:37:11Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks [57.69809561405253]
  我々は、ImageNet上でバニラResNet-50を80%以上のTop-1精度に向上できるフレームワークを、トリックなしで導入する。 本手法は,バニラResNet-50を用いた224x224の1つの作物サイズを用いて,ImageNetの80.67%のトップ1精度を得る。 我々のフレームワークは常に69.76%から73.19%に改善されている。
  論文  参考訳（メタデータ） (2020-09-17T17:59:33Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• Impact of ImageNet Model Selection on Domain Adaptation [26.016647703500883]
  本稿では,異なる画像ネットモデルがドメイン適応問題に対する転送精度に与える影響について検討する。 ImageNetモデルの精度が向上し、ドメイン適応問題の精度が向上する。 また、各ニューラルネットワークのアーキテクチャを調べ、特徴抽出に最適な層を見つける。
  論文  参考訳（メタデータ） (2020-02-06T23:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。