論文の概要: LogAvgExp Provides a Principled and Performant Global Pooling Operator
- arxiv url: http://arxiv.org/abs/2111.01742v1
- Date: Tue, 2 Nov 2021 17:05:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-03 12:45:59.727660
- Title: LogAvgExp Provides a Principled and Performant Global Pooling Operator
- Title(参考訳): LogAvgExpが基本的でパフォーマンスのよいグローバルプール演算子を提供
- Authors: Scott C. Lowe and Thomas Trappenberg and Sageev Oore
- Abstract要約: LogSumExpは、ロジットに自然なOR演算子を提供する。
コンピュータビジョンのための様々なディープニューラルネットワークアーキテクチャにおいて、学習可能な温度パラメータと非学習可能な温度パラメータの両方でLogAvgExpを実験的にテストした。
- 参考スコア(独自算出の注目度): 5.620567669407724
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We seek to improve the pooling operation in neural networks, by applying a
more theoretically justified operator. We demonstrate that LogSumExp provides a
natural OR operator for logits. When one corrects for the number of elements
inside the pooling operator, this becomes $\text{LogAvgExp} :=
\log(\text{mean}(\exp(x)))$. By introducing a single temperature parameter,
LogAvgExp smoothly transitions from the max of its operands to the mean (found
at the limiting cases $t \to 0^+$ and $t \to +\infty$). We experimentally
tested LogAvgExp, both with and without a learnable temperature parameter, in a
variety of deep neural network architectures for computer vision.
- Abstract(参考訳): 我々は、より理論的に正当化された演算子を適用することによって、ニューラルネットワークのプール操作を改善することを目指す。
LogSumExpがロジットに自然なOR演算子を提供することを示す。
プール演算子内の要素数を補正すると、$\text{logavgexp} := \log(\text{mean}(\exp(x)))$となる。
単一温度パラメータを導入することにより、LogAvgExpはオペランドの最大値から平均値に滑らかに遷移する(制限の場合$t \to 0^+$と$t \to +\infty$)。
コンピュータビジョンのための様々なディープニューラルネットワークアーキテクチャにおいて、学習可能な温度パラメータと非学習可能な温度パラメータの両方でLogAvgExpを実験的にテストした。
関連論文リスト
- MgNO: Efficient Parameterization of Linear Operators via Multigrid [4.604003661048267]
我々はMgNOを導入し、ニューロン間の有界線形作用素をパラメータ化するために多重格子構造を利用する。
MgNOは、他のCNNベースのモデルと比べてトレーニングの容易さが優れている。
論文 参考訳(メタデータ) (2023-10-16T13:01:35Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳(メタデータ) (2023-09-25T17:54:19Z) - More on symmetry resolved operator entanglement [0.0]
グローバルな$U(1)$保存法則を持つスピン鎖と、明確に定義された$U(1)$電荷を持つ演算子$O$に焦点を当てる。
我々は[PRX Quantum 4, 010318 (2023) に導入された対称性分解作用素絡み合い(SROE)の概念を用いて、後者の論文の結果を様々な方向に拡張する。
i) $rho_beta$ の SROE は演算子領域法に従う; i) 自由フェルミオンに対して、ハイゼンベルク図の局所作用素は時間や飽和度で対数的に成長する SROE を持つことができる。
論文 参考訳(メタデータ) (2023-09-07T21:58:18Z) - Spacetime-Efficient Low-Depth Quantum State Preparation with
Applications [93.56766264306764]
任意の量子状態を作成するための新しい決定論的手法は、以前の方法よりも少ない量子資源を必要とすることを示す。
我々は、量子機械学習、ハミルトンシミュレーション、方程式の線形系を解くことなど、この能力が役立ついくつかのアプリケーションを強調した。
論文 参考訳(メタデータ) (2023-03-03T18:23:20Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳(メタデータ) (2022-06-17T17:55:43Z) - Pseudo-Differential Neural Operator: Generalized Fourier Neural Operator
for Learning Solution Operators of Partial Differential Equations [14.43135909469058]
本研究では,FNOにおけるフーリエ積分作用素を解析・一般化するための新しいテキスト型微分積分演算子(PDIO)を提案する。
提案モデルの有効性をDarcyフローとNavier-Stokes方程式を用いて実験的に検証した。
論文 参考訳(メタデータ) (2022-01-28T07:22:32Z) - Logical Activation Functions: Logit-space equivalents of Boolean
Operators [4.577830474623795]
ニューラルネットワークのアクティベーション関数としてデプロイ可能な,$textAND_textAIL$という効率的な近似を導入する。
画像分類,伝達学習,抽象的推論,合成ゼロショット学習など,様々なタスクにおいて有効性を示す。
論文 参考訳(メタデータ) (2021-10-22T17:49:42Z) - On the Optimal Memorization Power of ReLU Neural Networks [53.15475693468925]
フィードフォワードReLUニューラルネットワークは、軽度の分離可能性仮定を満たす任意のN$ポイントを記憶することができることを示す。
このような大きなビットの複雑性を持つことは、サブ線形数のパラメータを記憶するのに必要であり、十分であることを示す。
論文 参考訳(メタデータ) (2021-10-07T05:25:23Z) - Neural Operator: Learning Maps Between Function Spaces [57.90284928158383]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳(メタデータ) (2021-08-19T03:56:49Z) - Thresholded Lasso Bandit [70.17389393497125]
Thresholded Lasso banditは、報酬関数を定義するベクトルとスパースサポートを推定するアルゴリズムである。
一般には $mathcalO( log d + sqrtT )$ や $mathcalO( log d + sqrtT )$ としてスケールする非漸近的後悔の上界を確立する。
論文 参考訳(メタデータ) (2020-10-22T19:14:37Z) - nPINNs: nonlocal Physics-Informed Neural Networks for a parametrized
nonlocal universal Laplacian operator. Algorithms and Applications [0.0]
物理インフォームドニューラルネットワーク(PINN)は、スパース、非構造、多忠実なデータを持つ微分方程式と積分方程式に基づく逆問題の解法に有効である。
本稿では,非局所ポアソンおよび非局所乱流の積分方程式のパラメータと関数にPINNを拡張した。
以上の結果から,nPINN はこの関数と$delta$ を併用して推定できることが示唆された。
論文 参考訳(メタデータ) (2020-04-08T21:48:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。