論文の概要: Nonconvex Extension of Generalized Huber Loss for Robust Learning and
Pseudo-Mode Statistics
- arxiv url: http://arxiv.org/abs/2202.11141v1
- Date: Tue, 22 Feb 2022 19:32:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-24 15:02:44.633896
- Title: Nonconvex Extension of Generalized Huber Loss for Robust Learning and
Pseudo-Mode Statistics
- Title(参考訳): ロバスト学習と擬似モード統計のための一般化フーバー損失の非凸拡張
- Authors: Kaan Gokcesu, Hakan Gokcesu
- Abstract要約: ログエクスプとロジスティック関数を組み合わせることで、ロスコンバインを生成できることが示されます。
指数収束を最小化するために利用できる頑健な一般化を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an extended generalization of the pseudo Huber loss formulation.
We show that using the log-exp transform together with the logistic function,
we can create a loss which combines the desirable properties of the strictly
convex losses with robust loss functions. With this formulation, we show that a
linear convergence algorithm can be utilized to find a minimizer. We further
discuss the creation of a quasi-convex composite loss and provide a
derivative-free exponential convergence rate algorithm.
- Abstract(参考訳): 擬ハマー損失定式化の拡張一般化を提案する。
本稿では,log-exp変換とロジスティック関数を用いて,厳密な凸損失の望ましい特性とロジスティック損失関数を組み合わせた損失を生成できることを示す。
この定式化により、線形収束アルゴリズムを用いて最小値を求めることができることを示す。
さらに、準凸複合損失の生成について論じ、微分自由指数収束率アルゴリズムを提案する。
関連論文リスト
- Optimal convex $M$-estimation via score matching [6.115859302936817]
実験的リスク最小化が回帰係数の下流推定における最適分散をもたらすデータ駆動凸損失関数を構築した。
半パラメトリック手法は、雑音分布の対数密度の導関数の導関数の最も少ない近似を目標とする。
論文 参考訳(メタデータ) (2024-03-25T12:23:19Z) - Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。
Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
論文 参考訳(メタデータ) (2024-03-20T08:15:08Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-29T20:18:52Z) - General Loss Functions Lead to (Approximate) Interpolation in High
Dimensions [6.738946307589741]
閉形式における勾配降下の暗黙バイアスを概ね特徴づける統一的な枠組みを提供する。
具体的には、暗黙バイアスが高次元の最小ノルムに近似されている(正確には同値ではない)ことを示す。
また,本フレームワークは,バイナリとマルチクラス設定間で指数関数的に制限された損失に対して,既存の正確な等価性を回復する。
論文 参考訳(メタデータ) (2023-03-13T21:23:12Z) - Convex Bounds on the Softmax Function with Applications to Robustness
Verification [69.09991317119679]
ソフトマックス関数は、ニューラルネットワークの出力においてユビキタスなコンポーネントであり、中間層もますます多くなっている。
本稿では,ニューラルネットワークや他のMLモデルのキャラクタリゼーションのための凸最適化式と互換性のある,ソフトマックス関数上の凸下界と凹上界を提供する。
論文 参考訳(メタデータ) (2023-03-03T05:07:02Z) - Functional Output Regression with Infimal Convolution: Exploring the
Huber and $\epsilon$-insensitive Losses [1.7835960292396256]
本稿では,Forceファミリーの様々な形態のアウトレーヤや疎結合を扱えるフレキシブルなフレームワークを提案する。
計算的に抽出可能なアルゴリズムを双対性に頼って、結果のタスクに対処する。
このアプローチの効率は、合成ベンチマークと実世界のベンチマークの両方において古典的な2乗損失設定と対比され、比較される。
論文 参考訳(メタデータ) (2022-06-16T14:45:53Z) - Generalized Huber Loss for Robust Learning and its Efficient
Minimization for a Robust Statistics [0.0]
好適な選択関数により、絶対損失と二次損失の両方の望ましい性質を組み合わせた損失関数を実現できることを示す。
このような損失関数の最小化を求めるアルゴリズムを提供し、集中化計量の発見が従来の平均値や中央値よりもそれほど難しくないことを示す。
論文 参考訳(メタデータ) (2021-08-28T11:18:14Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳(メタデータ) (2021-06-29T09:48:46Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳(メタデータ) (2020-05-26T16:26:17Z) - The Implicit Bias of Gradient Descent on Separable Data [44.98410310356165]
予測器は最大マージン(シャープマージンSVM)解の方向へ収束することを示す。
これは、トレーニングエラーがゼロになった後もロジスティックまたはクロスエントロピー損失を最適化し続ける利点を説明するのに役立つ。
論文 参考訳(メタデータ) (2017-10-27T21:47:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。