Fugu-MT 論文翻訳(概要): LogAvgExp Provides a Principled and Performant Global Pooling Operator

論文の概要: LogAvgExp Provides a Principled and Performant Global Pooling Operator

arxiv url: http://arxiv.org/abs/2111.01742v1
Date: Tue, 2 Nov 2021 17:05:04 GMT
ステータス: 処理完了
システム内更新日: 2021-11-03 12:45:59.727660
Title: LogAvgExp Provides a Principled and Performant Global Pooling Operator
Title（参考訳）: LogAvgExpが基本的でパフォーマンスのよいグローバルプール演算子を提供
Authors: Scott C. Lowe and Thomas Trappenberg and Sageev Oore
Abstract要約: LogSumExpは、ロジットに自然なOR演算子を提供する。コンピュータビジョンのための様々なディープニューラルネットワークアーキテクチャにおいて、学習可能な温度パラメータと非学習可能な温度パラメータの両方でLogAvgExpを実験的にテストした。
参考スコア（独自算出の注目度）: 5.620567669407724
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We seek to improve the pooling operation in neural networks, by applying a more theoretically justified operator. We demonstrate that LogSumExp provides a natural OR operator for logits. When one corrects for the number of elements inside the pooling operator, this becomes $\text{LogAvgExp} := \log(\text{mean}(\exp(x)))$. By introducing a single temperature parameter, LogAvgExp smoothly transitions from the max of its operands to the mean (found at the limiting cases $t \to 0^+$ and $t \to +\infty$). We experimentally tested LogAvgExp, both with and without a learnable temperature parameter, in a variety of deep neural network architectures for computer vision.
Abstract（参考訳）: 我々は、より理論的に正当化された演算子を適用することによって、ニューラルネットワークのプール操作を改善することを目指す。 LogSumExpがロジットに自然なOR演算子を提供することを示す。プール演算子内の要素数を補正すると、$\text{logavgexp} := \log(\text{mean}(\exp(x)))$となる。単一温度パラメータを導入することにより、LogAvgExpはオペランドの最大値から平均値に滑らかに遷移する(制限の場合$t \to 0^+$と$t \to +\infty$)。コンピュータビジョンのための様々なディープニューラルネットワークアーキテクチャにおいて、学習可能な温度パラメータと非学習可能な温度パラメータの両方でLogAvgExpを実験的にテストした。

関連論文リスト

Operator Learning with Gaussian Processes [0.18641315013048293]
演算子学習は、関数の無限次元空間間の近似写像 $mathcalGdagger:mathcalU rightarrowmathcalV$ に焦点を当てる。両手法の長所を生かした演算子学習のためのGP/NNベースのハイブリッドフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-06T18:06:08Z)
On the Complexity of Neural Computation in Superposition [3.9803704378699103]
ニューラルネットワークの理解の最近の進歩は、重畳が大規模ネットワークの計算効率の根底にある重要なメカニズムであることを示唆している。ペアワイズのような論理演算は、$O(sqrtm' log m')$ ニューロンと$O(m' log2 m')$パラメータで計算できる。本研究は,ニューラルネットワークの解釈可能性研究における複雑性理論手法の活用の道を開くものである。
論文参考訳（メタデータ） (2024-09-05T18:58:59Z)
Approximation of the Proximal Operator of the $\ell_\infty$ Norm Using a Neural Network [1.7265013728931]
ニューラルネットワークを用いて,$textbfprox_alphacdot||infty(mathbfx)$を近似する。ネットワークの新たな側面は、特徴選択プロセスにより、様々な長さのベクトルを受け入れることができることである。特徴選択を使用しない「バニラニューラルネットワーク」よりも優れていることを示す。
論文参考訳（メタデータ） (2024-08-20T22:12:30Z)
MgNO: Efficient Parameterization of Linear Operators via Multigrid [4.096453902709292]
我々は、ニューロン間の線形演算子をパラメータ化するために多重格子構造を利用するMgNOを紹介する。 MgNOは、他のCNNベースのモデルと比べてトレーニングの容易さが優れている。
論文参考訳（メタデータ） (2023-10-16T13:01:35Z)
A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文参考訳（メタデータ） (2023-09-25T17:54:19Z)
Spacetime-Efficient Low-Depth Quantum State Preparation with Applications [93.56766264306764]
任意の量子状態を作成するための新しい決定論的手法は、以前の方法よりも少ない量子資源を必要とすることを示す。我々は、量子機械学習、ハミルトンシミュレーション、方程式の線形系を解くことなど、この能力が役立ついくつかのアプリケーションを強調した。
論文参考訳（メタデータ） (2023-03-03T18:23:20Z)
Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文参考訳（メタデータ） (2022-06-17T17:55:43Z)
Logical Activation Functions: Logit-space equivalents of Boolean Operators [4.577830474623795]
ニューラルネットワークのアクティベーション関数としてデプロイ可能な,$textAND_textAIL$という効率的な近似を導入する。画像分類,伝達学習,抽象的推論,合成ゼロショット学習など,様々なタスクにおいて有効性を示す。
論文参考訳（メタデータ） (2021-10-22T17:49:42Z)
On the Optimal Memorization Power of ReLU Neural Networks [53.15475693468925]
フィードフォワードReLUニューラルネットワークは、軽度の分離可能性仮定を満たす任意のN$ポイントを記憶することができることを示す。このような大きなビットの複雑性を持つことは、サブ線形数のパラメータを記憶するのに必要であり、十分であることを示す。
論文参考訳（メタデータ） (2021-10-07T05:25:23Z)
Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文参考訳（メタデータ） (2021-08-19T03:56:49Z)
Thresholded Lasso Bandit [70.17389393497125]
Thresholded Lasso banditは、報酬関数を定義するベクトルとスパースサポートを推定するアルゴリズムである。一般には $mathcalO( log d + sqrtT )$ や $mathcalO( log d + sqrtT )$ としてスケールする非漸近的後悔の上界を確立する。
論文参考訳（メタデータ） (2020-10-22T19:14:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。