論文の概要: Why and when should you pool? Analyzing Pooling in Recurrent Architectures

• arxiv url: http://arxiv.org/abs/2005.00159v2
• Date: Wed, 28 Oct 2020 02:11:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 22:53:17.739501
• Title: Why and when should you pool? Analyzing Pooling in Recurrent Architectures
• Title（参考訳）: なぜ、いつプールにするか? リカレントアーキテクチャにおけるプールの解析
• Authors: Pratyush Maini, Keshav Kolluru, Danish Pruthi, Mausam
• Abstract要約: 一般的な3つのプール技術(平均プール、最大プール、注意)について検討する。 文中の予測トークン間の相互作用を効果的にキャプチャする新しい変種であるmax-attentionを提案する。
• 参考スコア（独自算出の注目度）: 30.706881906245425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pooling-based recurrent neural architectures consistently outperform their counterparts without pooling. However, the reasons for their enhanced performance are largely unexamined. In this work, we examine three commonly used pooling techniques (mean-pooling, max-pooling, and attention), and propose max-attention, a novel variant that effectively captures interactions among predictive tokens in a sentence. We find that pooling-based architectures substantially differ from their non-pooling equivalents in their learning ability and positional biases--which elucidate their performance benefits. By analyzing the gradient propagation, we discover that pooling facilitates better gradient flow compared to BiLSTMs. Further, we expose how BiLSTMs are positionally biased towards tokens in the beginning and the end of a sequence. Pooling alleviates such biases. Consequently, we identify settings where pooling offers large benefits: (i) in low resource scenarios, and (ii) when important words lie towards the middle of the sentence. Among the pooling techniques studied, max-attention is the most effective, resulting in significant performance gains on several text classification tasks.
• Abstract（参考訳）: プールベースのリカレントニューラルアーキテクチャは、プールなしで一貫してそのアーキテクチャを上回っている。 しかし、その性能向上の理由はほとんど検討されていない。 本研究では,一般的な3つのプーリング手法(平均プーリング,最大プーリング,注意)について検討し,文章中の予測トークン間の相互作用を効果的に捉えたmax-attentionを提案する。 プールベースのアーキテクチャは、学習能力と位置バイアスの非プール等価性 - パフォーマンス上のメリットを解明する - とは大きく異なることが分かっています。 勾配伝播の解析により,BiLSTMと比較して,プーリングにより勾配流が良くなることがわかった。 さらに、BiLSTMがシーケンスの開始と終了においてトークンにどのように偏っているかを明らかにする。 プール化はこのようなバイアスを軽減する。 その結果、プールが大きなメリットをもたらす設定を特定します。 (i)低資源シナリオにおいて、 (二)重要な言葉が文の中央に横たわっているとき。 プーリング手法の中で、最大アテンションが最も効果的であり、いくつかのテキスト分類タスクにおいて大きなパフォーマンス向上をもたらす。

関連論文リスト

• Stochastic Subsampling With Average Pooling [7.229820415732795]
  本研究では,プールにドロップアウト類似性を取り入れた,平均プールと呼ばれる新しいモジュールを提案する。 サブサンプリングと平均プールの特性を記述し,不整合問題なくモジュールの設計に活用する。 平均プーリングは、不整合問題による潜在的な性能劣化を伴わずに正規化効果を達成し、既存のディープニューラルネットワークに簡単に接続できる。
  論文  参考訳（メタデータ） (2024-09-25T05:18:17Z)
• Higher-order Clustering and Pooling for Graph Neural Networks [77.47617360812023]
  グラフニューラルネットワークは、多数のグラフ分類タスクにおいて最先端のパフォーマンスを達成する。 HoscPoolはクラスタリングベースのグラフプーリング演算子で、階層的に高階情報をキャプチャする。 グラフ分類タスクにおいてHoscPoolを評価し,そのクラスタリングコンポーネントを地層構造を持つグラフ上で評価する。
  論文  参考訳（メタデータ） (2022-09-02T09:17:10Z)
• Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing [88.76112371510999]
  フェデレーション学習は、ネットワークエッジにおける分散機械学習の第一候補である。 既存のアルゴリズムは、性能の緩やかな収束や堅牢性の問題に直面している。 そこで本稿では,損失低減に対する最適コンテキスト依存境界を実現するためのコンテキストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T21:42:31Z)
• Achieving Minimax Rates in Pool-Based Batch Active Learning [26.12124106759262]
  本稿では,学習者がラベル付けオラクルへのポイントのバッチを適応的に発行する,バッチアクティブな学習シナリオについて考察する。 本稿では,問合せ点の情報性と,その多様性との間に注意深いトレードオフを必要とする解を提案する。
  論文  参考訳（メタデータ） (2022-02-11T04:55:45Z)
• AdaPool: Exponential Adaptive Pooling for Information-Retaining Downsampling [82.08631594071656]
  畳み込み層は畳み込みニューラルネットワーク(CNN)の重要な構成要素である 適応的で指数関数的に重み付けされたアダプール法を提案する。 adaPoolは画像やビデオの分類やオブジェクト検出など,さまざまなタスクを通じて,ディテールの保存性の向上を実証する。
  論文  参考訳（メタデータ） (2021-11-01T08:50:37Z)
• Ordinal Pooling [26.873004843826962]
  通常のプーリングは、シーケンス内のプール領域の要素を並べ替え、シーケンス内の順序に基づいて各要素に異なる重みを割り当てる。 実験により、ネットワークがプーリング層内で異なるタイプのプール操作を行うのが有利であることが示唆された。
  論文  参考訳（メタデータ） (2021-09-03T14:33:02Z)
• Efficient First-Order Contextual Bandits: Prediction, Allocation, and Triangular Discrimination [82.52105963476703]
  統計的学習、オンライン学習、その他における繰り返しのテーマは、低騒音の問題に対してより速い収束率が可能であることである。 1次保証は統計的およびオンライン学習において比較的よく理解されている。 三角識別と呼ばれる対数損失と情報理論量が一階保証を得る上で基本的な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:20:34Z)
• Refining activation downsampling with SoftPool [74.1840492087968]
  畳み込みニューラルネットワーク(cnns)は、アクティベーションマップのサイズを減らすためにプールを使用する。 指数重化アクティベーションダウンサンプリングの高速かつ効率的な方法であるSoftPoolを提案します。 SoftPoolは、アクティベーションマップの縮小でより多くの情報を保持できることを示します。
  論文  参考訳（メタデータ） (2021-01-02T12:09:49Z)
• Strip Pooling: Rethinking Spatial Pooling for Scene Parsing [161.7521770950933]
  長いが狭いカーネル、すなわち1xNまたはNx1を考えるストリッププーリングを導入する。 提案するストリッププール性能と従来の空間プール技術との比較を行った。 両方の新しいプールベースのデザインは軽量であり、既存のシーン解析ネットワークにおいて効率的なプラグアンドプレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2020-03-30T10:40:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。