論文の概要: The Theoretical Expressiveness of Maxpooling

• arxiv url: http://arxiv.org/abs/2203.01016v1
• Date: Wed, 2 Mar 2022 10:45:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 00:44:02.987845
• Title: The Theoretical Expressiveness of Maxpooling
• Title（参考訳）: Maxpoolingの理論的表現性
• Authors: Kyle Matoba and Nikolaos Dimitriadis and Fran\c{c}ois Fleuret
• Abstract要約: 我々は、ReLUに基づく近似を解析し、最大プール化を行う理論的枠組みを開発する。 最大プーリングはReLUアクティベーションを用いて効率的に複製できない。 最大プールと最適近似の違いの主な原因は、他のアーキテクチャ上の決定で克服できると結論付けている。
• 参考スコア（独自算出の注目度）: 4.028503203417233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the decade since deep neural networks became state of the art image classifiers there has been a tendency towards less use of max pooling: the function that takes the largest of nearby pixels in an image. Since max pooling featured prominently in earlier generations of image classifiers, we wish to understand this trend, and whether it is justified. We develop a theoretical framework analyzing ReLU based approximations to max pooling, and prove a sense in which max pooling cannot be efficiently replicated using ReLU activations. We analyze the error of a class of optimal approximations, and find that whilst the error can be made exponentially small in the kernel size, doing so requires an exponentially complex approximation. Our work gives a theoretical basis for understanding the trend away from max pooling in newer architectures. We conclude that the main cause of a difference between max pooling and an optimal approximation, a prevalent large difference between the max and other values within pools, can be overcome with other architectural decisions, or is not prevalent in natural images.
• Abstract（参考訳）: 深層ニューラルネットワークがアート画像分類器の最先端になってから10年が経ち、画像中の近くのピクセルの最大値を取る関数である最大プールの使用を減らす傾向があった。 画像分類器の初期世代では,最大プーリングが顕著であったため,この傾向と正当性について理解したい。 本研究では,ReLUに基づく最大プール化の近似を解析し,最大プール化をReLUアクティベーションを用いて効率的に再現できないことを示す理論的枠組みを開発した。 最適な近似のクラスの誤差を分析し、その誤差はカーネルサイズで指数関数的に小さくできるが、指数関数的に複雑な近似を必要とする。 我々の研究は、新しいアーキテクチャにおける最大プールからこの傾向を理解するための理論的基礎を与える。 最大プーリングと最適近似の差の主な原因は、プール内のmax値と他の値との一般的な大きな差であり、他のアーキテクチャ上の決定で克服できるか、あるいは自然画像では一般的ではないと結論づける。

関連論文リスト

• Fine-Tuning Image-Conditional Diffusion Models is Easier than You Think [53.2706196341054]
  認識された非効率性は、これまで気付かれなかった推論パイプラインの欠陥によって引き起こされたことを示している。 タスク固有の損失を伴う単一ステップモデル上でエンドツーエンドの微調整を行い、他の拡散に基づく深さモデルや正規推定モデルよりも優れた決定論的モデルを得る。
  論文  参考訳（メタデータ） (2024-09-17T16:58:52Z)
• Enhancing Classifier Conservativeness and Robustness by Polynomiality [23.099278014212146]
  我々はその状況をいかに改善できるかを示す。 直接的に関連し、単純で、しかし重要な技術的ノベルティは、SoftRmaxです。 我々は,ソフトRmaxの2つの側面,保守性,本質的な頑健性は,逆正則化につながることを示した。
  論文  参考訳（メタデータ） (2022-03-23T19:36:19Z)
• AdaPool: Exponential Adaptive Pooling for Information-Retaining Downsampling [82.08631594071656]
  畳み込み層は畳み込みニューラルネットワーク(CNN)の重要な構成要素である 適応的で指数関数的に重み付けされたアダプール法を提案する。 adaPoolは画像やビデオの分類やオブジェクト検出など,さまざまなタスクを通じて,ディテールの保存性の向上を実証する。
  論文  参考訳（メタデータ） (2021-11-01T08:50:37Z)
• PixelPyramids: Exact Inference Models from Lossless Image Pyramids [58.949070311990916]
  Pixel-Pyramidsは、画像画素の関節分布を符号化するスケール特異的表現を用いたブロック自動回帰手法である。 様々な画像データセット、特に高解像度データに対する密度推定の最先端結果が得られる。 CelebA-HQ 1024 x 1024 では,フローベースモデルの並列化よりもサンプリング速度が優れているにもかかわらず,密度推定値がベースラインの 44% に向上することが観察された。
  論文  参考訳（メタデータ） (2021-10-17T10:47:29Z)
• Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
  対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。 本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
  論文  参考訳（メタデータ） (2021-06-02T22:03:36Z)
• InfinityGAN: Towards Infinite-Resolution Image Synthesis [92.40782797030977]
  任意の解像度画像を生成するinfinityganを提案する。 少ない計算資源でパッチバイパッチをシームレスに訓練し、推論する方法を示す。
  論文  参考訳（メタデータ） (2021-04-08T17:59:30Z)
• Consensus Maximisation Using Influences of Monotone Boolean Functions [40.86597150734384]
  MaxConは、許容レベル内のモデルに適合する最大のデータサブセットを見つけることを目指しています。 その結果,データ中の最大構造に属する点の影響は,特定の条件下では小さくなることがわかった。 合成および実画像データ実験の結果、MBFベースのアルゴリズムは比較的高速に近似解を生成できることが示されている。
  論文  参考訳（メタデータ） (2021-03-06T22:01:06Z)
• Comparison of Methods Generalizing Max- and Average-Pooling [1.693200946453174]
  最大および平均プールは畳み込みニューラルネットワークにおけるダウンサンプリングの最も一般的な方法である。 本稿では,最大値と平均値の両方を一般化する異なるプール法の比較を行う。 結果は、より洗練された方法のどれでも、標準的な最大または平均プールよりもこの分類タスクで有意に優れています。
  論文  参考訳（メタデータ） (2021-03-02T14:26:51Z)
• Maximal function pooling with applications [4.446564162927513]
  Maxfun プールは Hardy-Littlewood maximal 機能に触発されます。 これは、最大プールや平均プールなど、最も人気のあるプーリング関数のいくつかに代わる実行可能な選択肢として提示されている。 まず、畳み込みスパース符号化の文脈で、次に画像分類のための2つのアプリケーションでmaxfunプーリングの特徴を実証します。
  論文  参考訳（メタデータ） (2021-03-01T20:30:04Z)
• Taming GANs with Lookahead-Minmax [63.90038365274479]
  MNIST, SVHN, CIFAR-10, ImageNetによる実験結果から, Lookahead-minmaxとAdam, Exgradientの併用が明らかとなった。 30倍のパラメータと16倍のミニバッチを使用して、クラスラベルを使わずに12.19のFIDを得ることにより、CIFAR-10上でクラス依存のBigGANのパフォーマンスを上回ります。
  論文  参考訳（メタデータ） (2020-06-25T17:13:23Z)
• An Optimization and Generalization Analysis for Max-Pooling Networks [34.58092926599547]
  Max-Pooling操作はディープラーニングアーキテクチャの中核的なコンポーネントである。 畳み込み最大プールアーキテクチャの理論解析を行う。 我々は、CNNが我々の設定において完全に接続されたネットワークを著しく上回っていることを実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-22T22:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。