論文の概要: On the alpha-loss Landscape in the Logistic Model
- arxiv url: http://arxiv.org/abs/2006.12406v1
- Date: Mon, 22 Jun 2020 16:36:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 05:49:52.976422
- Title: On the alpha-loss Landscape in the Logistic Model
- Title（参考訳）: ロジスティックモデルにおけるアルファロス景観について
- Authors: Tyler Sypherd, Mario Diaz, Lalitha Sankar, and Gautam Dasarathy
- Abstract要約: 我々は最近導入された$alpha$-lossと呼ばれるクラス損失関数の最適化状況を分析する。
このファミリーは、指数損失(alpha = 1/2$)、ログロス(alpha = 1)、調整可能な損失(alpha = infty)$)をロジスティックモデルでカプセル化する。
- 参考スコア（独自算出の注目度）: 9.708102029812633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We analyze the optimization landscape of a recently introduced tunable class
of loss functions called $\alpha$-loss, $\alpha \in (0,\infty]$, in the
logistic model. This family encapsulates the exponential loss ($\alpha = 1/2$),
the log-loss ($\alpha = 1$), and the 0-1 loss ($\alpha = \infty$) and contains
compelling properties that enable the practitioner to discern among a host of
operating conditions relevant to emerging learning methods. Specifically, we
study the evolution of the optimization landscape of $\alpha$-loss with respect
to $\alpha$ using tools drawn from the study of strictly-locally-quasi-convex
functions in addition to geometric techniques. We interpret these results in
terms of optimization complexity via normalized gradient descent.
- Abstract（参考訳）: 我々はロジスティックモデルで最近導入された$\alpha$-loss,$\alpha \in (0,\infty]$と呼ばれる可逆損失関数の最適化ランドスケープを分析した。
このファミリーは指数的損失(\alpha = 1/2$)、ログロス(\alpha = 1$)、および0-1の損失(\alpha = \infty$)をカプセル化し、実践者が新しい学習方法に関連する一連の操作条件を識別できるようにする説得力のある特性を含む。
具体的には,幾何学的手法に加えて,厳密な局所的クアシ凸関数の研究から得られたツールを用いて,$\alpha$-lossの最適化景観の進化を研究する。
これらの結果を正規化勾配降下による最適化複雑性の観点から解釈する。
関連論文リスト
- Adam-like Algorithm with Smooth Clipping Attains Global Minima: Analysis
Based on Ergodicity of Functional SDEs [0.0]
我々は,グローバル化された非-1損失関数を切断したAdam型アルゴリズムが正規化された非-1エラー形式を最小化することを示す。
また、スムーズな群のエルゴード理論を適用して、逆温度と時間を学ぶためのアプローチを研究する。
論文 参考訳（メタデータ） (2023-11-29T14:38:59Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳（メタデータ） (2023-07-17T09:55:35Z) - Variance-reduced Clipping for Non-convex Optimization [24.765794811146144]
グラディエント・クリッピング(Gradient clipping)は、大規模言語モデリングのようなディープラーニングアプリケーションで用いられる技法である。
最近の実験的な訓練は、秩序の複雑さを緩和する、非常に特別な振る舞いを持っている。
論文 参考訳（メタデータ） (2023-03-02T00:57:38Z) - Randomized Exploration for Reinforcement Learning with General Value
Function Approximation [122.70803181751135]
本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。
提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。
我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
論文 参考訳（メタデータ） (2021-06-15T02:23:07Z) - Realizing GANs via a Tunable Loss Function [7.455546102930911]
我々は$alpha$-GAN と呼ばれる調整可能な GAN を導入し、$alpha in (0,infty]$ でパラメータ化する。
その結果,$alpha$-GANは有本発散と密接に関連していることがわかった。
論文 参考訳（メタデータ） (2021-06-09T17:18:21Z) - Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$
Geometry [69.24618367447101]
対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。
損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
論文 参考訳（メタデータ） (2021-03-02T06:53:44Z) - Learning elliptic partial differential equations with randomized linear
algebra [2.538209532048867]
ほぼ確実に収束する$G$への近似を構築することができることを示す。
0Gamma_epsilonleq 1$はトレーニングデータセットの品質を特徴付ける。
論文 参考訳（メタデータ） (2021-01-31T16:57:59Z) - Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
論文 参考訳（メタデータ） (2020-10-01T16:48:33Z) - Reinforcement Learning with General Value Function Approximation:
Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。
我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。
我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
論文 参考訳（メタデータ） (2020-05-21T17:36:09Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。