Fugu-MT 論文翻訳(概要): The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network

論文の概要: The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network

arxiv url: http://arxiv.org/abs/2207.07858v1
Date: Sat, 16 Jul 2022 07:08:59 GMT
ステータス: 処理完了
システム内更新日: 2022-07-19 14:13:18.818965
Title: The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network
Title（参考訳）: 畳み込みニューラルネットワークにおける自己アテンションのための抽選チケット仮説
Authors: Zhongzhan Huang, Senwei Liang, Mingfu Liang, Wei He, Haizhao Yang and Liang Lin
Abstract要約: 近年, 深部畳み込みニューラルネットワーク(CNN)の内部情報を活用することにより, モデル一般化の促進を図るために, SAM (Plug-and-play Self-attention Module) が多数提案されている。 a) SAMをすべてのブロックに接続することは、必ずしも最大のパフォーマンス向上をもたらすとは限らないし、部分ブロックに接続する方が、さらによい。 (b) CNNにSAMを追加することは、必ずしもパフォーマンス向上をもたらすものではなく、代わりに元のCNNバックボーンのパフォーマンスに害を与えるかもしれない。
参考スコア（独自算出の注目度）: 69.54809052377189
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently many plug-and-play self-attention modules (SAMs) are proposed to enhance the model generalization by exploiting the internal information of deep convolutional neural networks (CNNs). In general, previous works ignore where to plug in the SAMs since they connect the SAMs individually with each block of the entire CNN backbone for granted, leading to incremental computational cost and the number of parameters with the growth of network depth. However, we empirically find and verify some counterintuitive phenomena that: (a) Connecting the SAMs to all the blocks may not always bring the largest performance boost, and connecting to partial blocks would be even better; (b) Adding the SAMs to a CNN may not always bring a performance boost, and instead it may even harm the performance of the original CNN backbone. Therefore, we articulate and demonstrate the Lottery Ticket Hypothesis for Self-attention Networks: a full self-attention network contains a subnetwork with sparse self-attention connections that can (1) accelerate inference, (2) reduce extra parameter increment, and (3) maintain accuracy. In addition to the empirical evidence, this hypothesis is also supported by our theoretical evidence. Furthermore, we propose a simple yet effective reinforcement-learning-based method to search the ticket, i.e., the connection scheme that satisfies the three above-mentioned conditions. Extensive experiments on widely-used benchmark datasets and popular self-attention networks show the effectiveness of our method. Besides, our experiments illustrate that our searched ticket has the capacity of transferring to some vision tasks, e.g., crowd counting and segmentation.
Abstract（参考訳）: 近年,深層畳み込みニューラルネットワーク(CNN)の内部情報を活用することにより,モデル一般化の促進を図るために,多数のSAMモジュールが提案されている。一般に、従来の研究はSAMをCNNバックボーンのブロック全体と個別に接続するため、SAMをプラグインする場所を無視しており、インクリメンタルな計算コストとネットワーク深さの増大を伴うパラメータの数に繋がる。しかし、経験的にいくつかの直観に反する現象を見つけ、検証します。 (a)samsをすべてのブロックに接続することは、必ずしも最大のパフォーマンス向上をもたらすとは限らないし、部分的なブロックに接続する方が、さらによいでしょう。 b) CNNにSAMを追加すると、必ずしもパフォーマンスが向上するわけではなく、代わりに元のCNNバックボーンのパフォーマンスに悪影響を及ぼす可能性がある。そこで,本研究では,自己着脱ネットワークに対する抽選チケット仮説を定式化・実証する。完全自己着脱ネットワークは, (1) 推論を加速できる疎自己着接続を持つサブネットワークを含み, (2) 追加パラメータ増分を削減し,(3) 精度を維持する。実証的な証拠に加えて、この仮説は理論的な証拠からも支持されている。さらに,上記の3つの条件を満たす接続方式として,簡易かつ効果的な強化学習に基づくチケット検索手法を提案する。広く利用されているベンチマークデータセットと一般的な自己注意ネットワークに関する大規模な実験により,本手法の有効性が示された。さらに,検索したチケットは,例えば,群集数やセグメンテーションなどの視覚的タスクに移動可能であることを示す。

関連論文リスト

Causal GNNs: A GNN-Driven Instrumental Variable Approach for Causal Inference in Networks [0.0]
CgNNは、隠れた共同設立者のバイアスを緩和し、因果効果の推定を改善するための新しいアプローチである。以上の結果から,CgNNは隠れた共同創設者バイアスを効果的に軽減し,複雑なネットワークデータにおける因果推論のための堅牢なGNN駆動IVフレームワークを提供することが示された。
論文参考訳（メタデータ） (2024-09-13T05:39:00Z)
Exploring the Lottery Ticket Hypothesis with Explainability Methods: Insights into Sparse Network Performance [13.773050123620592]
Lottery Ticket hypothesis (LTH) は、元のモデルに匹敵するあるいは優れた性能を持つディープネットワーク内のネットワークを見つける。本研究では, 刈り取られたネットワークの性能が徐々に向上するか, 低下するかを検討する。
論文参考訳（メタデータ） (2023-07-07T18:33:52Z)
Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。その後、トレーニング中にのみ高次の統計を利用する。本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文参考訳（メタデータ） (2022-11-21T15:27:22Z)
A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文参考訳（メタデータ） (2022-10-27T13:24:08Z)
NetSentry: A Deep Learning Approach to Detecting Incipient Large-scale Network Attacks [9.194664029847019]
ネットワーク侵入検出(NID)における機械学習の原理的利用法を示す。我々は、Bi-ALSTMをベースとした、おそらく最初のNIDSであるNetSentryを提案する。 XSSやWeb bruteforceなどの攻撃検出率を最大3倍に向上させるとともに、最先端技術よりもF1スコアが33%以上上昇することが実証された。
論文参考訳（メタデータ） (2022-02-20T17:41:02Z)
Sifting out the features by pruning: Are convolutional networks the winning lottery ticket of fully connected ones? [16.5745082442791]
このような「当選宝くじ」に印字を刻む帰納バイアスについて検討する。残余ノード接続は入力空間において局所的であり、畳み込みネットワーク(CNN)に類似したパターンで構成されていることを示す。
論文参考訳（メタデータ） (2021-04-27T17:25:54Z)
BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文参考訳（メタデータ） (2021-03-14T20:43:19Z)
CIFS: Improving Adversarial Robustness of CNNs via Channel-wise Importance-based Feature Selection [186.34889055196925]
本稿では,チャネルワイドアクティベーションの観点から,CNNの対角的ロバスト性について検討する。我々は,敵対的学習(AT)がCNNのチャネルワイドなアクティベーションと自然的データとを一致させることで,CNNの信頼性を高めることを観察した。我々は、新しいメカニズム、すなわち、アンダーラインChannel-wise Underline Importance-based UnderlineFeature UnderlineSelection (CIFS)を導入する。
論文参考訳（メタデータ） (2021-02-10T08:16:43Z)
Sequence-to-Sequence Load Disaggregation Using Multi-Scale Residual Neural Network [4.094944573107066]
非侵入負荷モニタリング(Non-Intrusive Load Monitoring, NILM)は、電力をモニタするコスト効率の高い方法として、ますます注目されている。ディープニューラルネットワークは、負荷分散の分野で大きな可能性を示している。
論文参考訳（メタデータ） (2020-09-25T17:41:28Z)
Channel Equilibrium Networks for Learning Deep Representation [63.76618960820138]
この研究は正規化と正則線型関数の組み合わせがチャネルを阻害することを示している。阻害されたチャネルを単に取り除いた先行技術とは異なり、我々は、新しいニューラルネットワークビルディングブロックを設計することで、トレーニング中に「目を覚ます」ことを提案する。 Channel Equilibrium (CE) ブロックは、同じレイヤのチャネルが学習した表現に等しく寄与することを可能にする。
論文参考訳（メタデータ） (2020-02-29T09:02:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。