論文の概要: Sparse Continuous Distributions and Fenchel-Young Losses
- arxiv url: http://arxiv.org/abs/2108.01988v1
- Date: Wed, 4 Aug 2021 12:07:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-05 13:27:47.268734
- Title: Sparse Continuous Distributions and Fenchel-Young Losses
- Title（参考訳）: スパース連続分布とフェンシェルヤング損失
- Authors: Andr\'e F. T. Martins, Marcos Treviso, Ant\'onio Farinhas, Pedro M. Q.
Aguiar, M\'ario A. T. Figueiredo, Mathieu Blondel and Vlad Niculae
- Abstract要約: 我々は、$Omega$-regularized prediction mapとFenchel-Young損失を任意のドメインに拡張する。
連続領域における二次エネルギー関数の場合、結果として得られる密度は$beta$-Gaussiansである。
注意情報に基づく音声分類と視覚的質問応答のためのスパース連続分布を実証する。
- 参考スコア（独自算出の注目度）: 28.52737451408056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exponential families are widely used in machine learning; they include many
distributions in continuous and discrete domains (e.g., Gaussian, Dirichlet,
Poisson, and categorical distributions via the softmax transformation).
Distributions in each of these families have fixed support. In contrast, for
finite domains, there has been recent works on sparse alternatives to softmax
(e.g. sparsemax, $\alpha$-entmax, and fusedmax) and corresponding losses, which
have varying support.
This paper expands that line of work in several directions: first, it extends
$\Omega$-regularized prediction maps and Fenchel-Young losses to arbitrary
domains (possibly countably infinite or continuous). For linearly parametrized
families, we show that minimization of Fenchel-Young losses is equivalent to
moment matching of the statistics, generalizing a fundamental property of
exponential families. When $\Omega$ is a Tsallis negentropy with parameter
$\alpha$, we obtain "deformed exponential families," which include
$\alpha$-entmax and sparsemax ($\alpha$ = 2) as particular cases. For quadratic
energy functions in continuous domains, the resulting densities are
$\beta$-Gaussians, an instance of elliptical distributions that contain as
particular cases the Gaussian, biweight, triweight and Epanechnikov densities,
and for which we derive closed-form expressions for the variance, Tsallis
entropy, and Fenchel-Young loss. When $\Omega$ is a total variation or Sobolev
regularizer, we obtain a continuous version of the fusedmax. Finally, we
introduce continuous-domain attention mechanisms, deriving efficient gradient
backpropagation algorithms for $\alpha \in \{1, 4/3, 3/2, 2\}$. Using them, we
demonstrate our sparse continuous distributions for attention-based audio
classification and visual question answering, showing that they allow attending
to time intervals and compact regions.
- Abstract（参考訳）: 指数族は機械学習において広く用いられ、連続および離散領域(例えば、ガウス、ディリクレ、ポアソン、ソフトマックス変換によるカテゴリー分布など)における多くの分布を含む。
それぞれの家庭の分布には一定の支持がある。
対照的に、有限領域に対しては、ソフトマックスのスパース代替(例えば)に関する最近の研究がある。
sparsemax, $\alpha$-entmax, and fusedmax)と対応する損失は異なるサポートを持つ。
第一に、$\Omega$-regularized prediction map と Fenchel-Young loss を任意の領域に拡張する。
線形パラメトリズド族に対しては、フェンチェル・ヤング損失の最小化は統計量のモーメントマッチングと等価であり、指数関数族の基本特性を一般化していることを示す。
例えば、$\omega$ がパラメータ $\alpha$ の tsallis negentropy であるとき、特定の場合として $\alpha$-entmax と sparsemax (\alpha$ = 2) を含む「変形した指数関数族」を得る。
連続領域の二次エネルギー関数に対して、結果として得られる密度は$\beta$-Gaussianであり、これは特にガウス、双重、三重、エパネチニコフの密度を含む楕円分布の例であり、分散、ツァリスエントロピー、フェンチェル・ヨンの損失に対する閉形式表現を導出する。
もし$\omega$ が総変動あるいはソボレフ正則化であるとき、私たちはfusedmaxの連続バージョンを得る。
最後に、$\alpha \in \{1, 4/3, 3/2, 2\}$ に対する効率的な勾配バックプロパゲーションアルゴリズムを導出した連続領域アテンション機構を導入する。
それらを用いて,注意に基づく音声分類と視覚的質問応答のための分散連続分布を実証し,時間間隔やコンパクトな領域への出席を可能にした。
関連論文リスト
- Generalized Regret Analysis of Thompson Sampling using Fractional
Posteriors [12.43000662545423]
トンプソンサンプリング(Thompson sample, TS)は、マルチアームバンディット問題を解くアルゴリズムの1つである。
TSの変種である$alpha$-TSを考え、標準的な後続分布の代わりに$alpha$-posteriorまたは$alpha$-posteriorを使用する。
論文 参考訳（メタデータ） (2023-09-12T16:15:33Z) - Nearly $d$-Linear Convergence Bounds for Diffusion Models via Stochastic
Localization [40.808942894229325]
データ次元において線形である第1収束境界を提供する。
拡散モデルは任意の分布を近似するために少なくとも$tilde O(fracd log2(1/delta)varepsilon2)$ stepsを必要とすることを示す。
論文 参考訳（メタデータ） (2023-08-07T16:01:14Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Sparse and Continuous Attention Mechanisms [14.941013982958209]
1,2。
注意に基づくテキスト分類、機械翻訳、視覚的質問応答の実験は、1Dと2Dの連続的注意の使用を示している。
論文 参考訳（メタデータ） (2020-06-12T14:16:48Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z) - The Bethe and Sinkhorn Permanents of Low Rank Matrices and Implications
for Profile Maximum Likelihood [33.51964370430905]
我々はベーテとシンクホーンの永久体の近似の質に関する新しい限界を提供する。
先行研究における凸緩和とベーテ近似とシンクホーン近似との驚くべき関係を確立する。
論文 参考訳（メタデータ） (2020-04-06T06:40:03Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳（メタデータ） (2020-02-10T23:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。