論文の概要: Channel Equilibrium Networks for Learning Deep Representation

• arxiv url: http://arxiv.org/abs/2003.00214v1
• Date: Sat, 29 Feb 2020 09:02:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 20:15:35.240067
• Title: Channel Equilibrium Networks for Learning Deep Representation
• Title（参考訳）: 深層表現学習のためのチャネル平衡ネットワーク
• Authors: Wenqi Shao, Shitao Tang, Xingang Pan, Ping Tan, Xiaogang Wang, Ping Luo
• Abstract要約: この研究は正規化と正則線型関数の組み合わせがチャネルを阻害することを示している。 阻害されたチャネルを単に取り除いた先行技術とは異なり、我々は、新しいニューラルネットワークビルディングブロックを設計することで、トレーニング中に「目を覚ます」ことを提案する。 Channel Equilibrium (CE) ブロックは、同じレイヤのチャネルが学習した表現に等しく寄与することを可能にする。
• 参考スコア（独自算出の注目度）: 63.76618960820138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks (CNNs) are typically constructed by stacking multiple building blocks, each of which contains a normalization layer such as batch normalization (BN) and a rectified linear function such as ReLU. However, this work shows that the combination of normalization and rectified linear function leads to inhibited channels, which have small magnitude and contribute little to the learned feature representation, impeding the generalization ability of CNNs. Unlike prior arts that simply removed the inhibited channels, we propose to "wake them up" during training by designing a novel neural building block, termed Channel Equilibrium (CE) block, which enables channels at the same layer to contribute equally to the learned representation. We show that CE is able to prevent inhibited channels both empirically and theoretically. CE has several appealing benefits. (1) It can be integrated into many advanced CNN architectures such as ResNet and MobileNet, outperforming their original networks. (2) CE has an interesting connection with the Nash Equilibrium, a well-known solution of a non-cooperative game. (3) Extensive experiments show that CE achieves state-of-the-art performance on various challenging benchmarks such as ImageNet and COCO.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)は通常、複数のビルディングブロックを積み重ねて構築され、それぞれがバッチ正規化(bn)のような正規化層と、reluのような整流線形関数を含んでいる。 しかし本研究は,正規化と整流線形関数の組み合わせが,cnnの一般化能力を阻害する学習特徴表現にほとんど寄与しない抑制されたチャネルへとつながることを示した。 阻害されたチャネルを単に取り除いた先行技術とは異なり、我々は、学習された表現に等しく貢献できる新しいニューラルネットワークビルディングブロックであるChannel Equilibrium(CE)ブロックを設計することで、トレーニング中に「覚醒」することを提案する。 CEは, 実験的, 理論的に阻害チャネルを予防できることを示す。 CEにはいくつかの魅力ある利点がある。 1) ResNet や MobileNet などの先進的な CNN アーキテクチャに組み込むことができ,元のネットワークよりも優れていた。 2) CE は非協調ゲームのよく知られた解である Nash Equilibrium と興味深い関係を持つ。 (3) 総合実験の結果,CEはImageNetやCOCOなど,様々な挑戦的なベンチマークで最先端のパフォーマンスを達成した。

関連論文リスト

• TBSN: Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising [94.09442506816724]
  BSN(Blind-spot Network)は、自己教師型イメージデノベーション(SSID)において一般的なネットワークアーキテクチャである。 本稿では, ブラインドスポット要求を満たす変圧器演算子の解析と再設計により, 変圧器ベースブラインドスポットネットワーク(TBSN)を提案する。 空間的自己注意のために、注意行列に精巧なマスクを適用して受容場を制限し、拡張された畳み込みを模倣する。 チャネル自己アテンションについては,マルチスケールアーキテクチャの深層部において,チャネル数が空間的サイズよりも大きい場合,盲点情報を漏洩する可能性がある。
  論文  参考訳（メタデータ） (2024-04-11T15:39:10Z)
• Interference Cancellation GAN Framework for Dynamic Channels [74.22393885274728]
  チャネルのあらゆる変更に適応できるオンライントレーニングフレームワークを導入します。 我々のフレームワークは、非常にダイナミックなチャネル上での最近のニューラルネットワークモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-08-17T02:01:18Z)
• End-to-end learnable EEG channel selection with deep neural networks [72.21556656008156]
  本稿では,脳波チャネル選択をニューラルネットワーク自体に組み込む枠組みを提案する。 我々は、離散チャネル選択パラメータの連続緩和を用いて、この新しい最適化問題の離散的性質を扱う。 この一般的なアプローチは、2つの異なるEEGタスクで評価される。
  論文  参考訳（メタデータ） (2021-02-11T13:44:07Z)
• IC Networks: Remodeling the Basic Unit for Convolutional Neural Networks [8.218732270970381]
  既存のCNNにIC構造を組み込んで性能を向上することができる。 ICネットワークのトレーニングを高速化するために,新しいトレーニング手法,すなわち弱いロジット蒸留(WLD)を提案する。 ImageNetの実験では、IC構造をResNet-50に統合し、トップ1エラーを22.38%から21.75%に削減した。
  論文  参考訳（メタデータ） (2021-02-06T03:15:43Z)
• Self-Organized Operational Neural Networks for Severe Image Restoration Problems [25.838282412957675]
  畳み込みニューラルネットワーク(CNN)に基づく離散学習は、ノイズとクリーンのイメージペアのトレーニング例から学習することで、画像復元を行うことを目的としている。 これは畳み込みに基づく変換の本質的な線形性によるものであり、深刻な復元問題に対処するには不十分である。 画像復元のための自己組織型ONN(Self-ONN)を提案する。
  論文  参考訳（メタデータ） (2020-08-29T02:19:41Z)
• A Deep Learning Framework for Hybrid Beamforming Without Instantaneous CSI Feedback [4.771833920251869]
  本稿では,ハイブリッドビームフォーミングとチャネル推定の両方を扱うためのディープラーニング(DL)フレームワークを提案する。 提案手法は,従来の最適化手法に比べて,少なくとも10倍の計算複雑性を示す。
  論文  参考訳（メタデータ） (2020-06-19T05:47:25Z)
• The Curious Case of Convex Neural Networks [12.56278477726461]
  完全連結層と畳み込み層の両方に凸性制約を適用可能であることを示す。 a) IOC-NN(Input Output Convex Neural Networks)の自己正規化とオーバーフィッティング(オーバーフィッティング)の問題の低減; (b) 厳しい制約にもかかわらず、ベースマルチレイヤのパーセプトロンを上回り、ベースコンボリューションアーキテクチャと比較して同様のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-06-09T08:16:38Z)
• Decentralized Learning for Channel Allocation in IoT Networks over Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game [134.88020946767404]
  本稿では,プライマリセルネットワークにライセンスされたスペクトルに基づいて,アドホックなモノのインターネットネットワークにおける分散チャネル割り当て問題について検討する。 本研究では,この問題をコンテキスト型マルチプレイヤー・マルチアームバンディットゲームにマッピングし,試行錯誤による純粋に分散化された3段階ポリシー学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-30T10:05:35Z)
• Discrimination-aware Network Pruning for Deep Model Compression [79.44318503847136]
  既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。 本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。 画像分類と顔認識の両方の実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-01-04T07:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。