論文の概要: MGiaD: Multigrid in all dimensions. Efficiency and robustness by
coarsening in resolution and channel dimensions
- arxiv url: http://arxiv.org/abs/2211.05525v1
- Date: Thu, 10 Nov 2022 12:37:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 14:10:48.331342
- Title: MGiaD: Multigrid in all dimensions. Efficiency and robustness by
coarsening in resolution and channel dimensions
- Title（参考訳）: mgiad: あらゆる次元のマルチグリッド。
分解能およびチャネル次元の粗大化による効率性とロバスト性
- Authors: Antonia van Betteray, Matthias Rottmann and Karsten Kahl
- Abstract要約: 画像分類のための最先端のディープニューラルネットワークは、学習可能な重量が10～1億である。
ウェイトカウントの複雑さは、チャネルの数、入力の空間的範囲、ネットワークの層数の関数と見なすことができる。
近年のディープニューラルネットワークにおけるマルチグリッドインスパイアされたアイデアの活用に関する活発な研究により、適切なウェイトシェアリングによってかなりの量のウェイトを節約できること、チャネル次元の階層構造がウェイト複雑性を線形に改善できることが示されている。
- 参考スコア（独自算出の注目度）: 4.297070083645049
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current state-of-the-art deep neural networks for image classification are
made up of 10 - 100 million learnable weights and are therefore inherently
prone to overfitting. The complexity of the weight count can be seen as a
function of the number of channels, the spatial extent of the input and the
number of layers of the network. Due to the use of convolutional layers the
scaling of weight complexity is usually linear with regards to the resolution
dimensions, but remains quadratic with respect to the number of channels.
Active research in recent years in terms of using multigrid inspired ideas in
deep neural networks have shown that on one hand a significant number of
weights can be saved by appropriate weight sharing and on the other that a
hierarchical structure in the channel dimension can improve the weight
complexity to linear. In this work, we combine these multigrid ideas to
introduce a joint framework of multigrid inspired architectures, that exploit
multigrid structures in all relevant dimensions to achieve linear weight
complexity scaling and drastically reduced weight counts. Our experiments show
that this structured reduction in weight count is able to reduce overfitting
and thus shows improved performance over state-of-the-art ResNet architectures
on typical image classification benchmarks at lower network complexity.
- Abstract（参考訳）: 画像分類のための最先端のディープニューラルネットワークは、10～1億の学習可能な重量で構成されているため、本質的に過度に適合する傾向にある。
重みカウントの複雑さは、チャネルの数、入力の空間的範囲、ネットワークの層数といった関数と見なすことができる。
畳み込み層を用いるため、重量の複雑さのスケーリングは通常、解像度の次元に関して線形であるが、チャネルの数に関して二次的である。
近年、ディープニューラルネットワークにおけるマルチグリッドインスパイアされたアイデアの利用に関する活発な研究により、適切な重み共有によってかなりの量の重みを節約できる一方、チャネル次元の階層構造は重み複雑性を線形に改善できることが示された。
本研究では,これらマルチグリッドのアイデアを組み合わせることで,すべての次元のマルチグリッド構造を活用して,線形重み複雑性のスケーリングと軽量化を実現する,マルチグリッドにインスパイアされたアーキテクチャの融合フレームワークを導入する。
実験により,この構造的軽量化はオーバーフィッティングを低減し,ネットワークの複雑さを低減した典型的な画像分類ベンチマークにおいて,最先端のResNetアーキテクチャよりも優れた性能を示した。
関連論文リスト
- Multi-scale Unified Network for Image Classification [33.560003528712414]
CNNは、実世界のマルチスケール画像入力を扱う際に、性能と計算効率において顕著な課題に直面している。
本稿では,マルチスケール,統一ネットワーク,スケール不変制約からなるMultiscale Unified Network(MUSN)を提案する。
MUSNは精度が44.53%向上し、マルチスケールシナリオではFLOPを7.01-16.13%減少させる。
論文 参考訳（メタデータ） (2024-03-27T06:40:26Z) - Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。
本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。
MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文 参考訳（メタデータ） (2024-02-04T08:57:42Z) - Dimensionality Reduction in Deep Learning via Kronecker Multi-layer
Architectures [4.836352379142503]
Kronecker積分解の高速行列乗算に基づく新しいディープラーニングアーキテクチャを提案する。
このアーキテクチャにより、ニューラルネットワークのトレーニングと実装が可能になり、計算時間とリソースが大幅に削減されることを示す。
論文 参考訳（メタデータ） (2022-04-08T19:54:52Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Scaling Wide Residual Networks for Panoptic Segmentation [29.303735643858026]
Wide Residual Networks (Wide-ResNets) はResidual Networks (ResNets) の浅層モデルである。
セマンティックセグメンテーションとインスタンスセグメンテーションを統合することを目的とした,最近の課題であるパン光学セグメンテーションタスクのために,アーキテクチャ設計を再考する。
このような単純なスケーリングスキームとグリッドサーチが組み合わさって、高速モデルと強力なモデル体制の両方において、パン光学セグメンテーションデータセットの最先端性能を大幅に向上させるSWideRNetがいくつか存在することを実証する。
論文 参考訳（メタデータ） (2020-11-23T19:14:11Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳（メタデータ） (2020-08-24T09:49:19Z) - Feature-Dependent Cross-Connections in Multi-Path Neural Networks [7.230526683545722]
マルチパスネットワークは冗長な特徴を学習する傾向がある。
このような経路に対して,入ってくる特徴写像をインテリジェントに割り当てる機構を導入する。
従来手法や最先端手法と比較して,画像認識精度が向上した。
論文 参考訳（メタデータ） (2020-06-24T17:38:03Z) - Multigrid-in-Channels Architectures for Wide Convolutional Neural
Networks [6.929025509877642]
本稿では,標準畳み込みニューラルネットワーク(CNN)のチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド手法を提案する。
教師付き画像分類の例では、この戦略を残差ネットワークに適用し、MobileNetV2は精度に悪影響を及ぼすことなくパラメータ数を著しく削減している。
論文 参考訳（メタデータ） (2020-06-11T20:28:36Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-19T08:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。