論文の概要: Enhancing Convolutional Neural Networks with Higher-Order Numerical Difference Methods
- arxiv url: http://arxiv.org/abs/2409.04977v1
- Date: Sun, 8 Sep 2024 05:13:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 19:50:12.210968
- Title: Enhancing Convolutional Neural Networks with Higher-Order Numerical Difference Methods
- Title（参考訳）: 高次数値差分法による畳み込みニューラルネットワークの強化
- Authors: Qi Wang, Zijun Gao, Mingxiu Sui, Taiyuan Mei, Xiaohan Cheng, Iris Li,
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は、人間が多くの現実世界の問題を解決するのを助けることができる。
本稿では,CNNの性能向上を目的とした線形多段階法に基づく重ね合わせ手法を提案する。
- 参考スコア（独自算出の注目度）: 6.26650196870495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rise of deep learning technology in practical applications, Convolutional Neural Networks (CNNs) have been able to assist humans in solving many real-world problems. To enhance the performance of CNNs, numerous network architectures have been explored. Some of these architectures are designed based on the accumulated experience of researchers over time, while others are designed through neural architecture search methods. The improvements made to CNNs by the aforementioned methods are quite significant, but most of the improvement methods are limited in reality by model size and environmental constraints, making it difficult to fully realize the improved performance. In recent years, research has found that many CNN structures can be explained by the discretization of ordinary differential equations. This implies that we can design theoretically supported deep network structures using higher-order numerical difference methods. It should be noted that most of the previous CNN model structures are based on low-order numerical methods. Therefore, considering that the accuracy of linear multi-step numerical difference methods is higher than that of the forward Euler method, this paper proposes a stacking scheme based on the linear multi-step method. This scheme enhances the performance of ResNet without increasing the model size and compares it with the Runge-Kutta scheme. The experimental results show that the performance of the stacking scheme proposed in this paper is superior to existing stacking schemes (ResNet and HO-ResNet), and it has the capability to be extended to other types of neural networks.
- Abstract（参考訳）: ディープラーニング技術の実用化に伴い、畳み込みニューラルネットワーク(CNN)は、人間が現実世界の多くの問題を解決するのを助けることができた。
CNNの性能を高めるために、多くのネットワークアーキテクチャが検討されている。
これらのアーキテクチャのいくつかは、時間の経過とともに研究者の蓄積した経験に基づいて設計されている。
上記の方法によるCNNの改善は極めて重要であるが、改善手法の多くはモデルのサイズや環境制約によって現実的に制限されているため、改善された性能を完全に実現することは困難である。
近年、通常の微分方程式の離散化によって多くのCNN構造が説明できることが研究で判明している。
これは,高次数値差分法を用いて理論的に支持されたディープネットワーク構造を設計できることを示唆している。
従来のCNNモデル構造のほとんどは低次数値法に基づいている点に注意が必要である。
そこで本稿では, 線形多段差分法の精度が前方オイラー法よりも高いことを考慮し, 線形多段差分法に基づく重ね合わせ方式を提案する。
このスキームはモデルサイズを増大させることなくResNetの性能を高め、Runge-Kuttaスキームと比較する。
実験結果から,既存のスタック方式(ResNetとHO-ResNet)よりもスタック方式の性能が優れており,他のタイプのニューラルネットワークにも拡張可能であることがわかった。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Receptive Field Refinement for Convolutional Neural Networks Reliably
Improves Predictive Performance [1.52292571922932]
本稿では,このような理論的および経験的性能向上をもたらす受容場解析への新たなアプローチを提案する。
我々のアプローチは、広く知られたSOTA(State-of-the-art)モデルクラスにおいて、ImageNet1Kのパフォーマンスを改善することができる。
論文 参考訳（メタデータ） (2022-11-26T05:27:44Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and
Residual Connections for Structure Preserving Object Classification [28.02302915971059]
本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。
提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。
提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
論文 参考訳（メタデータ） (2021-10-06T13:54:49Z) - D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。
セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文 参考訳（メタデータ） (2021-08-20T09:07:01Z) - Connections between Numerical Algorithms for PDEs and Neural Networks [8.660429288575369]
偏微分方程式(PDE)とニューラルネットワークの数値アルゴリズム間の多数の構造的関係について検討する。
私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
論文 参考訳（メタデータ） (2021-07-30T16:42:45Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Genetic U-Net: Automatically Designed Deep Networks for Retinal Vessel
Segmentation Using a Genetic Algorithm [2.6629444004809826]
遺伝的U-Netは、より優れた網膜血管セグメンテーションを実現することができるが、アーキテクチャに基づくパラメータが少ないU字型畳み込みニューラルネットワーク(CNN)を生成するために提案されている。
実験の結果,提案手法を用いて得られたアーキテクチャは,元のU-Netパラメータの1%以下で優れた性能を示した。
論文 参考訳（メタデータ） (2020-10-29T13:31:36Z) - Learned Greedy Method (LGM): A Novel Neural Architecture for Sparse
Coding and Beyond [24.160276545294288]
同じ目的のために,欲求追従アルゴリズムの展開版を提案する。
Learned Greedy Method(LGM)のキーとなる特徴は、動的に展開された複数のレイヤに対応する能力である。
論文 参考訳（メタデータ） (2020-10-14T13:17:02Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。