論文の概要: Stochastic Subsampling With Average Pooling

• arxiv url: http://arxiv.org/abs/2409.16630v1
• Date: Wed, 25 Sep 2024 05:18:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 05:35:28.447889
• Title: Stochastic Subsampling With Average Pooling
• Title（参考訳）: 確率的サブサンプリングと平均プール
• Authors: Bum Jun Kim, Sang Woo Kim,
• Abstract要約: 本研究では,プールにドロップアウト類似性を取り入れた,平均プールと呼ばれる新しいモジュールを提案する。 サブサンプリングと平均プールの特性を記述し,不整合問題なくモジュールの設計に活用する。 平均プーリングは、不整合問題による潜在的な性能劣化を伴わずに正規化効果を達成し、既存のディープニューラルネットワークに簡単に接続できる。
• 参考スコア（独自算出の注目度）: 7.229820415732795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Regularization of deep neural networks has been an important issue to achieve higher generalization performance without overfitting problems. Although the popular method of Dropout provides a regularization effect, it causes inconsistent properties in the output, which may degrade the performance of deep neural networks. In this study, we propose a new module called stochastic average pooling, which incorporates Dropout-like stochasticity in pooling. We describe the properties of stochastic subsampling and average pooling and leverage them to design a module without any inconsistency problem. The stochastic average pooling achieves a regularization effect without any potential performance degradation due to the inconsistency issue and can easily be plugged into existing architectures of deep neural networks. Experiments demonstrate that replacing existing average pooling with stochastic average pooling yields consistent improvements across a variety of tasks, datasets, and models.
• Abstract（参考訳）: 深いニューラルネットワークの規則化は、問題を過度に適合させることなく、より高い一般化性能を達成する上で重要な問題である。 一般的なDropout方式は正規化効果を提供するが、出力に一貫性のない特性を引き起こすため、ディープニューラルネットワークの性能は低下する可能性がある。 本研究では,Dropoutのような確率性をプールに組み込んだ,確率平均プールと呼ばれる新しいモジュールを提案する。 確率的なサブサンプリングと平均プールの特性を記述し,不整合問題なくモジュールの設計に活用する。 確率平均プーリングは、不整合問題による潜在的な性能劣化を伴わずに正規化効果を達成し、ディープニューラルネットワークの既存のアーキテクチャに容易に接続できる。 実験では、既存の平均プールを確率的な平均プールに置き換えると、さまざまなタスク、データセット、モデル間で一貫した改善が得られます。

関連論文リスト

• Towards noise contrastive estimation with soft targets for conditional models [0.6138671548064356]
  本稿では確率的目標に適合する損失関数を提案する。 我々の新しいソフトターゲットInfoNCE損失は概念的にはシンプルで、計算に効率的であり、ノイズコントラスト推定の枠組みを通じて動機付けできる。 ソフトターゲットInfoNCEは,強いソフトターゲットのクロスエントロピーベースラインと同等に動作し,一般的なベンチマークにおいてハードターゲットNLLとInfoNCEの損失を上回ります。
  論文  参考訳（メタデータ） (2024-04-22T10:45:59Z)
• CoRMF: Criticality-Ordered Recurrent Mean Field Ising Solver [4.364088891019632]
  我々は、RNNに基づく効率的なIsingモデル解法、Criticality-ordered Recurrent Mean Field (CoRMF)を提案する。 基礎となるIsingグラフの近似木構造を利用することで、新しく得られた臨界度順序は、変動平均場とRNNの統一を可能にする。 CoRFMはデータ/証拠のない自己学習方式でIsing問題を解き、RNNから直接サンプリングすることで推論タスクを実行することができる。
  論文  参考訳（メタデータ） (2024-03-05T16:55:06Z)
• Uncertainty-Aware Deep Attention Recurrent Neural Network for Heterogeneous Time Series Imputation [0.25112747242081457]
  欠落は多変量時系列においてユビキタスであり、信頼できる下流分析の障害となる。 本稿では、欠落した値とその関連不確かさを共同で推定するDeep Attention Recurrent Imputation (Imputation)を提案する。 実験の結果,実世界のデータセットを用いた多様な計算タスクにおいて,SOTAを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-01-04T13:21:11Z)
• Model Merging by Uncertainty-Based Gradient Matching [70.54580972266096]
  ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。 我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2023-10-19T15:02:45Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Learning Robust Kernel Ensembles with Kernel Average Pooling [3.6540368812166872]
  本稿では,階層活性化テンソルのカーネル次元に沿って平均フィルタを適用するニューラルネットワーク構築ブロックであるKernel Average Pooling(KAP)を紹介する。 類似機能を持つカーネルのアンサンブルは、KAPを装備した畳み込みニューラルネットワークにおいて自然に出現し、バックプロパゲーションで訓練されることを示す。
  論文  参考訳（メタデータ） (2022-09-30T19:49:14Z)
• Imbalanced Nodes Classification for Graph Neural Networks Based on Valuable Sample Mining [9.156427521259195]
  不均衡問題に対する従来のアルゴリズムレベルのアプローチに基づいて、新たな損失関数FD-Lossを再構成する。 我々の損失関数は、ノード分類タスクの既存の手法と比較して、サンプルノードの不均衡を効果的に解決し、分類精度を4%向上させることができる。
  論文  参考訳（メタデータ） (2022-09-18T09:22:32Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。