論文の概要: New Insights into Learning with Correntropy Based Regression
- arxiv url: http://arxiv.org/abs/2006.11390v4
- Date: Tue, 21 Jul 2020 20:42:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 04:06:05.153306
- Title: New Insights into Learning with Correntropy Based Regression
- Title（参考訳）: コレントロピーに基づく回帰学習への新たな視点
- Authors: Yunlong Feng
- Abstract要約: 本研究では,コレントロピーに基づく回帰回帰が条件付きモード関数や条件付き平均関数に対して一定の条件下で頑健に働くことを示す。
また,条件付き平均関数を学習する際の新しい結果も提示する。
- 参考スコア（独自算出の注目度）: 3.066157114715031
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stemming from information-theoretic learning, the correntropy criterion and
its applications to machine learning tasks have been extensively explored and
studied. Its application to regression problems leads to the robustness
enhanced regression paradigm -- namely, correntropy based regression. Having
drawn a great variety of successful real-world applications, its theoretical
properties have also been investigated recently in a series of studies from a
statistical learning viewpoint. The resulting big picture is that correntropy
based regression regresses towards the conditional mode function or the
conditional mean function robustly under certain conditions. Continuing this
trend and going further, in the present study, we report some new insights into
this problem. First, we show that under the additive noise regression model,
such a regression paradigm can be deduced from minimum distance estimation,
implying that the resulting estimator is essentially a minimum distance
estimator and thus possesses robustness properties. Second, we show that the
regression paradigm, in fact, provides a unified approach to regression
problems in that it approaches the conditional mean, the conditional mode, as
well as the conditional median functions under certain conditions. Third, we
present some new results when it is utilized to learn the conditional mean
function by developing its error bounds and exponential convergence rates under
conditional $(1+\epsilon)$-moment assumptions. The saturation effect on the
established convergence rates, which was observed under $(1+\epsilon)$-moment
assumptions, still occurs, indicating the inherent bias of the regression
estimator. These novel insights deepen our understanding of correntropy based
regression, help cement the theoretic correntropy framework, and also enable us
to investigate learning schemes induced by general bounded nonconvex loss
functions.
- Abstract（参考訳）: 情報理論学習から考えると、コレントロピー基準とその機械学習タスクへの応用は広く研究され研究されている。
その回帰問題への応用は、ロバスト性が強化された回帰パラダイム(corentropy based regression)に繋がる。
様々な実世界の応用が成功しており、その理論的性質は統計学の観点からの一連の研究でも近年研究されている。
その結果、コレントロピーに基づく回帰回帰は条件モード関数や条件平均関数に対して一定の条件下でロバストに回帰する。
本研究は,この傾向を継続し,さらに進みながら,この問題に対する新たな知見を報告する。
まず, 付加雑音回帰モデルの下では, 最小距離推定から回帰パラダイムを導出することができ, 結果として得られる推定値は本質的に最小距離推定子であり, 従ってロバスト性を有することを示す。
第二に、回帰パラダイムは、ある条件下での条件平均、条件モード、および条件中央値関数にアプローチすることで、回帰問題に対する統一的なアプローチを提供することを示す。
第3に,条件付き$(1+\epsilon)$-moment仮定の下で,その誤差境界と指数収束率を発達させることで条件付き平均関数を学習するために,新たな結果を示す。
確立された収束率に対する飽和効果は(1+\epsilon)$-moment仮定の下でも観測され、回帰推定器固有のバイアスを示す。
これらの新しい知見は、コレントロピーに基づく回帰の理解を深め、理論的なコレントロピーの枠組みを固め、一般的な有界な非凸損失関数によって引き起こされる学習スキームを研究できる。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Engression: Extrapolation through the Lens of Distributional Regression [2.519266955671697]
我々は、エングレースと呼ばれるニューラルネットワークに基づく分布回帰手法を提案する。
エングレスモデル(engression model)は、適合した条件分布からサンプリングできるという意味で生成され、高次元結果にも適している。
一方、最小二乗法や量子回帰法のような従来の回帰手法は、同じ仮定の下では不十分である。
論文 参考訳（メタデータ） (2023-07-03T08:19:00Z) - Errors-in-variables Fr\'echet Regression with Low-rank Covariate
Approximation [2.1756081703276]
Fr'echet回帰は、非ユークリッド応答変数を含む回帰分析のための有望なアプローチとして登場した。
提案手法は,大域的Fr'echet回帰と主成分回帰の概念を組み合わせて,回帰推定器の効率と精度を向上させることを目的とする。
論文 参考訳（メタデータ） (2023-05-16T08:37:54Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Vector-Valued Least-Squares Regression under Output Regularity
Assumptions [73.99064151691597]
最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。
提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
論文 参考訳（メタデータ） (2022-11-16T15:07:00Z) - Non-Asymptotic Guarantees for Robust Statistical Learning under
$(1+\varepsilon)$-th Moment Assumption [0.716879432974126]
本稿では,統計レグレッションの多種族を対象としたログトランケート型M-メチエータを提案する。
標準推定よりもログトランケート推定の方が優れていることを示す。
論文 参考訳（メタデータ） (2022-01-10T06:22:30Z) - Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。
我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。
我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文 参考訳（メタデータ） (2021-06-10T06:11:55Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳（メタデータ） (2021-05-07T03:33:00Z) - A Framework of Learning Through Empirical Gain Maximization [8.834480010537229]
本研究では,頑健な回帰問題に対処する経験的ゲイン(EGM)の枠組みを開発する。
ツキーの双重損失は、他の三つの非確立損失関数から導かれる。
論文 参考訳（メタデータ） (2020-09-29T18:36:26Z) - A Statistical Learning Assessment of Huber Regression [8.834480010537229]
本研究では,ハマー回帰推定器の通常のリスク整合性は,平均回帰における学習可能性を保証することができないことを示す。
また、平均回帰を実行するために、Huberレグレッションは適応的な方法で実装されるべきであると主張する。
フーバー回帰推定器の収束率をほぼ確実に設定する。
論文 参考訳（メタデータ） (2020-09-27T06:08:21Z) - Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。
記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
論文 参考訳（メタデータ） (2020-02-21T19:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。