論文の概要: Nonconvex Extension of Generalized Huber Loss for Robust Learning and
Pseudo-Mode Statistics
- arxiv url: http://arxiv.org/abs/2202.11141v1
- Date: Tue, 22 Feb 2022 19:32:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-24 15:02:44.633896
- Title: Nonconvex Extension of Generalized Huber Loss for Robust Learning and
Pseudo-Mode Statistics
- Title(参考訳): ロバスト学習と擬似モード統計のための一般化フーバー損失の非凸拡張
- Authors: Kaan Gokcesu, Hakan Gokcesu
- Abstract要約: ログエクスプとロジスティック関数を組み合わせることで、ロスコンバインを生成できることが示されます。
指数収束を最小化するために利用できる頑健な一般化を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an extended generalization of the pseudo Huber loss formulation.
We show that using the log-exp transform together with the logistic function,
we can create a loss which combines the desirable properties of the strictly
convex losses with robust loss functions. With this formulation, we show that a
linear convergence algorithm can be utilized to find a minimizer. We further
discuss the creation of a quasi-convex composite loss and provide a
derivative-free exponential convergence rate algorithm.
- Abstract(参考訳): 擬ハマー損失定式化の拡張一般化を提案する。
本稿では,log-exp変換とロジスティック関数を用いて,厳密な凸損失の望ましい特性とロジスティック損失関数を組み合わせた損失を生成できることを示す。
この定式化により、線形収束アルゴリズムを用いて最小値を求めることができることを示す。
さらに、準凸複合損失の生成について論じ、微分自由指数収束率アルゴリズムを提案する。
関連論文リスト
- On the convergence of loss and uncertainty-based active learning
algorithms [3.7623606729515133]
種々の仮定の下で,損失の収束率と不確実性に基づく能動学習アルゴリズムについて検討した。
本稿では,ポイントのサンプリングとPolyakのステップサイズを組み合わせた能動的学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-21T15:22:07Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-29T20:18:52Z) - General Loss Functions Lead to (Approximate) Interpolation in High
Dimensions [6.738946307589741]
閉形式における勾配降下の暗黙バイアスを概ね特徴づける統一的な枠組みを提供する。
具体的には、暗黙バイアスが高次元の最小ノルムに近似されている(正確には同値ではない)ことを示す。
また,本フレームワークは,バイナリとマルチクラス設定間で指数関数的に制限された損失に対して,既存の正確な等価性を回復する。
論文 参考訳(メタデータ) (2023-03-13T21:23:12Z) - Convex Bounds on the Softmax Function with Applications to Robustness
Verification [69.09991317119679]
ソフトマックス関数は、ニューラルネットワークの出力においてユビキタスなコンポーネントであり、中間層もますます多くなっている。
本稿では,ニューラルネットワークや他のMLモデルのキャラクタリゼーションのための凸最適化式と互換性のある,ソフトマックス関数上の凸下界と凹上界を提供する。
論文 参考訳(メタデータ) (2023-03-03T05:07:02Z) - An Analysis of Loss Functions for Binary Classification and Regression [0.0]
本稿では,境界に基づく損失関数と二項分類および回帰応用における整合性の関係について検討する。
整合性(整合性)損失関数の簡単な特徴付けが与えられ、異なる損失の直接比較が可能である。
マージンと標準ロジスティック回帰残差の関係は導出され、すべてのマージンベース損失を正方形標準ロジスティック回帰残差の損失関数と見なすことができる。
論文 参考訳(メタデータ) (2023-01-18T16:26:57Z) - Functional Output Regression with Infimal Convolution: Exploring the
Huber and $\epsilon$-insensitive Losses [1.7835960292396256]
本稿では,Forceファミリーの様々な形態のアウトレーヤや疎結合を扱えるフレキシブルなフレームワークを提案する。
計算的に抽出可能なアルゴリズムを双対性に頼って、結果のタスクに対処する。
このアプローチの効率は、合成ベンチマークと実世界のベンチマークの両方において古典的な2乗損失設定と対比され、比較される。
論文 参考訳(メタデータ) (2022-06-16T14:45:53Z) - Generalized Huber Loss for Robust Learning and its Efficient
Minimization for a Robust Statistics [0.0]
好適な選択関数により、絶対損失と二次損失の両方の望ましい性質を組み合わせた損失関数を実現できることを示す。
このような損失関数の最小化を求めるアルゴリズムを提供し、集中化計量の発見が従来の平均値や中央値よりもそれほど難しくないことを示す。
論文 参考訳(メタデータ) (2021-08-28T11:18:14Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳(メタデータ) (2021-06-29T09:48:46Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳(メタデータ) (2020-05-26T16:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。