論文の概要: A Framework of Learning Through Empirical Gain Maximization
- arxiv url: http://arxiv.org/abs/2009.14250v2
- Date: Tue, 12 Jan 2021 03:07:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 05:34:17.581632
- Title: A Framework of Learning Through Empirical Gain Maximization
- Title（参考訳）: 経験的利得最大化による学習の枠組み
- Authors: Yunlong Feng and Qiang Wu
- Abstract要約: 本研究では,頑健な回帰問題に対処する経験的ゲイン(EGM)の枠組みを開発する。
ツキーの双重損失は、他の三つの非確立損失関数から導かれる。
- 参考スコア（独自算出の注目度）: 8.834480010537229
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop in this paper a framework of empirical gain maximization (EGM) to
address the robust regression problem where heavy-tailed noise or outliers may
present in the response variable. The idea of EGM is to approximate the density
function of the noise distribution instead of approximating the truth function
directly as usual. Unlike the classical maximum likelihood estimation that
encourages equal importance of all observations and could be problematic in the
presence of abnormal observations, EGM schemes can be interpreted from a
minimum distance estimation viewpoint and allow the ignorance of those
observations. Furthermore, it is shown that several well-known robust nonconvex
regression paradigms, such as Tukey regression and truncated least square
regression, can be reformulated into this new framework. We then develop a
learning theory for EGM, by means of which a unified analysis can be conducted
for these well-established but not fully-understood regression approaches.
Resulting from the new framework, a novel interpretation of existing bounded
nonconvex loss functions can be concluded. Within this new framework, the two
seemingly irrelevant terminologies, the well-known Tukey's biweight loss for
robust regression and the triweight kernel for nonparametric smoothing, are
closely related. More precisely, it is shown that the Tukey's biweight loss can
be derived from the triweight kernel. Similarly, other frequently employed
bounded nonconvex loss functions in machine learning such as the truncated
square loss, the Geman-McClure loss, and the exponential squared loss can also
be reformulated from certain smoothing kernels in statistics. In addition, the
new framework enables us to devise new bounded nonconvex loss functions for
robust learning.
- Abstract（参考訳）: 本稿では,重み付き雑音や外れ値が応答変数に現れるような頑健な回帰問題に対処するために,経験的ゲイン最大化(EGM)の枠組みを開発する。
EGMの考え方は、通常のように真理関数を直接近似するのではなく、雑音分布の密度関数を近似することである。
全ての観測を同等に重要視し、異常観測の存在下で問題となる古典的な最大度推定とは異なり、egmスキームは最小距離推定の観点から解釈でき、これらの観測を無知にすることができる。
さらに,いくつかのロバストな非凸回帰パラダイム(例えば,タキー回帰や断続最小二乗回帰)を新しいフレームワークに再構成できることが示されている。
そこで我々は,これら十分に確立されているが,完全には理解されていない回帰アプローチに対して,統一的な解析を行うことにより,EMGの学習理論を開発する。
新しい枠組みから、既存の有界非凸損失関数の新たな解釈を結論付けることができる。
この新しい枠組みでは、ロバスト回帰のための有名なテューキーの双重損失と非パラメトリックスムージングのための三重重項の2つの用語が密接に関連している。
より正確には、タキーの双重損失は三重項カーネルから導出できることが示されている。
同様に、切り詰められた正方形損失、ゲマン・マククリール損失、指数的正方形損失といった機械学習における有界な非凸損失関数は、統計学においてある滑らかなカーネルから再構成することもできる。
さらに,新しいフレームワークにより,ロバスト学習のための境界非凸損失関数の考案が可能となった。
関連論文リスト
- High-probability minimax lower bounds [2.5993680263955947]
ミニマックス量子化の概念を導入し、その量子化レベルへの依存を明確にする。
我々は、古典的なル・カム法とファノ法の高確率変種を開発し、局所的なミニマックスリスクの下限をミニマックス量子化上の下限に変換する技術を開発した。
論文 参考訳（メタデータ） (2024-06-19T11:15:01Z) - Robust deep learning from weakly dependent data [0.0]
本稿では, 弱い依存度を持つ観測結果から, 非有界損失関数と非有界入力/出力を含む頑健な深層学習を考察する。
これらの境界と$r$の関係を導き、データが任意の順序のモーメント(すなわち$r=infty$)を持つとき、収束率はよく知られた結果に近い。
論文 参考訳（メタデータ） (2024-05-08T14:25:40Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Implicit Bias of Gradient Descent for Logistic Regression at the Edge of
Stability [69.01076284478151]
機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く
本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
論文 参考訳（メタデータ） (2023-05-19T16:24:47Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - The Implicit Bias of Benign Overfitting [31.714928102950584]
良性過剰適合は、予測器がほぼ最適の損失を達成しながら、ノイズの多いトレーニングデータに完全に適合する場所である。
標準的な線形回帰を超えてこれを拡張できることを示します。
そして、分類問題に目を向け、状況がずっと有利であることを示す。
論文 参考訳（メタデータ） (2022-01-27T12:49:21Z) - On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。
エルゴード理論の力学系に基づく新しい視点を提案する。
論文 参考訳（メタデータ） (2021-10-12T18:12:23Z) - Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。
この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
論文 参考訳（メタデータ） (2021-08-05T23:04:15Z) - Bayesian Uncertainty Estimation of Learned Variational MRI
Reconstruction [63.202627467245584]
我々は,モデル不連続な不確かさを定量化するベイズ変分フレームワークを提案する。
提案手法はMRIのアンダーサンプを用いた再建術の術後成績を示す。
論文 参考訳（メタデータ） (2021-02-12T18:08:14Z) - Recovering Joint Probability of Discrete Random Variables from Pairwise
Marginals [22.77704627076251]
確率変数(RV)の合同確率の学習は、統計信号処理と機械学習の基盤となる。
近年, 任意の数の RV の結合確率質量関数 (PMF) を3次元境界から復元する研究が提案されている。
正確に3次元の辺縁を推定することは、標本の複雑さの観点からもコストがかかる。
この研究は、ペアの辺りだけを用いて共同PMFを学習するための新しい枠組みを生み出した。
論文 参考訳（メタデータ） (2020-06-30T15:43:44Z) - New Insights into Learning with Correntropy Based Regression [3.066157114715031]
本研究では,コレントロピーに基づく回帰回帰が条件付きモード関数や条件付き平均関数に対して一定の条件下で頑健に働くことを示す。
また,条件付き平均関数を学習する際の新しい結果も提示する。
論文 参考訳（メタデータ） (2020-06-19T21:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。