Fugu-MT 論文翻訳(概要): Enhancing the success rates by performing pooling decisions adjacent to the output layer

論文の概要: Enhancing the success rates by performing pooling decisions adjacent to the output layer

arxiv url: http://arxiv.org/abs/2303.05800v1
Date: Fri, 10 Mar 2023 09:09:37 GMT
ステータス: 処理完了
システム内更新日: 2023-03-13 15:31:26.274112
Title: Enhancing the success rates by performing pooling decisions adjacent to the output layer
Title（参考訳）: 出力層に隣接するプール決定を行うことで成功率を高める
Authors: Yuval Meir, Yarden Tzach, Ronit D. Gross, Ofek Tevet, Roni Vardi and Ido Kanter
Abstract要約: 我々は、CIFAR-10データベースを用いて、最終畳み込み層に隣接するプール決定が精度の高い成功率(SR)を大幅に向上させることを示した。その結果、出力層に隣接するプーリング戦略を用いて、以前に提案したディープアーキテクチャとそのSRの再検討が求められた。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Learning classification tasks of (2^nx2^n) inputs typically consist of \le n (2x2) max-pooling (MP) operators along the entire feedforward deep architecture. Here we show, using the CIFAR-10 database, that pooling decisions adjacent to the last convolutional layer significantly enhance accuracy success rates (SRs). In particular, average SRs of the advanced VGG with m layers (A-VGGm) architectures are 0.936, 0.940, 0.954, 0.955, and 0.955 for m=6, 8, 14, 13, and 16, respectively. The results indicate A-VGG8s' SR is superior to VGG16s', and that the SRs of A-VGG13 and A-VGG16 are equal, and comparable to that of Wide-ResNet16. In addition, replacing the three fully connected (FC) layers with one FC layer, A-VGG6 and A-VGG14, or with several linear activation FC layers, yielded similar SRs. These significantly enhanced SRs stem from training the most influential input-output routes, in comparison to the inferior routes selected following multiple MP decisions along the deep architecture. In addition, SRs are sensitive to the order of the non-commutative MP and average pooling operators adjacent to the output layer, varying the number and location of training routes. The results call for the reexamination of previously proposed deep architectures and their SRs by utilizing the proposed pooling strategy adjacent to the output layer.
Abstract（参考訳）: 2^nx2^n)入力の学習タスクは、典型的には、フィードフォワードの深いアーキテクチャ全体に沿って最大値 (MP) 演算子からなる。ここでは、CIFAR-10データベースを用いて、最終畳み込み層に隣接するプール決定が精度の高い成功率(SR)を大幅に向上させることを示す。特に、m層(A-VGGm)のアーキテクチャを持つ進行VGGの平均SRは、それぞれm=6, 8, 14, 13, 16に対して0.936, 0.940, 0.954, 0.955, 0.955である。その結果、A-VGG8sのSRはVGG16sより優れており、A-VGG13とA-VGG16のSRはWide-ResNet16と同等であることがわかった。さらに、3つの完全連結(FC)層を1つのFC層、A-VGG6とA-VGG14、または複数のリニアアクティベーションFC層に置き換えた。これらの大幅に強化されたSRは、深いアーキテクチャに沿った複数のMP決定に従って選択された劣ったルートと比較して、最も影響力のある入出力ルートを訓練することに由来する。さらに、SRは出力層に隣接する非可換MPと平均プール演算子の順序に敏感であり、トレーニング経路の数と位置を変える。その結果、出力層に隣接するプーリング戦略を用いて、以前に提案された深層アーキテクチャとそのSRの再検討が求められた。

関連論文リスト

Towards a universal mechanism for successful deep learning [0.0]
本研究は,SNRの精度が層によって徐々に増加することを示す。与えられた深いアーキテクチャでは、最大誤差率は出力ラベルの数とともにほぼ直線的に増加する。同様の傾向がデータセットラベルの [3, 1,000] の範囲で得られ, この機構の普遍性を支持した。
論文参考訳（メタデータ） (2023-09-14T09:03:57Z)
PVG: Progressive Vision Graph for Vision Recognition [25.752613030302534]
本稿では,視覚認識タスクのためのプログレッシブビジョングラフ(PVG)アーキテクチャを提案する。 PVGには3つの主要コンポーネントが含まれている: 1) プログレッシブ・セパレート・グラフ・コンストラクション(PSGC)、2) 隣ノードの情報収集と更新モジュール、3) グラフエラーリニア・ユニット(GraphLU)。
論文参考訳（メタデータ） (2023-08-01T14:35:29Z)
WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文参考訳（メタデータ） (2023-01-03T20:57:22Z)
Efficient shallow learning as an alternative to deep learning [0.0]
一般化された浅層LeNetアーキテクチャの誤差率は5層に過ぎず,第1畳み込み層におけるフィルタ数に比例して減衰することを示した。同様の指数を持つ電力法則も一般化されたVGG-16アーキテクチャを特徴付けている。畳み込み層に沿った保存法則は、その大きさの深さの平方根であり、誤り率を最小化する。
論文参考訳（メタデータ） (2022-11-15T10:10:27Z)
TraHGR: Transformer for Hand Gesture Recognition via ElectroMyography [19.51045409936039]
ハンドジェスチャ認識のためのトランスフォーマー(TraHGR)に基づくハイブリッドフレームワークを提案する。 TraHGRは2つの並列パスで構成され、各モジュールの利点を統合するための融合センターとして機能する線形レイヤが続く。提案するTraHGRアーキテクチャを検証し,検証するために,幅広い実験を行った。
論文参考訳（メタデータ） (2022-03-28T15:43:56Z)
Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
論文参考訳（メタデータ） (2021-12-27T14:05:41Z)
ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文参考訳（メタデータ） (2021-10-10T09:35:15Z)
Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
論文参考訳（メタデータ） (2021-04-16T09:54:30Z)
Deep ensembles based on Stochastic Activation Selection for Polyp Segmentation [82.61182037130406]
本研究は,大腸内視鏡検査における画像分割,特に正確なポリープ検出とセグメンテーションを扱う。イメージセグメンテーションの基本アーキテクチャはエンコーダとデコーダで構成されている。我々はデコーダのバックボーンを変更することで得られるDeepLabアーキテクチャのバリエーションを比較した。
論文参考訳（メタデータ） (2021-04-02T02:07:37Z)
SAR-U-Net: squeeze-and-excitation block and atrous spatial pyramid pooling based residual U-Net for automatic liver CT segmentation [3.192503074844775]
Squeeze-and-Excitation(SE)ブロック,Atrous Space Pyramid Pooling(ASPP),Resternal Learningといったテクニックを活用した,U-Netベースのフレームワークが提案されている。提案手法の有効性を2つの公開データセットLiTS17とSLiver07で検証した。
論文参考訳（メタデータ） (2021-03-11T02:32:59Z)
Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。