Fugu-MT 論文翻訳(概要): Robust variance-regularized risk minimization with concomitant scaling

論文の概要: Robust variance-regularized risk minimization with concomitant scaling

arxiv url: http://arxiv.org/abs/2301.11584v2
Date: Fri, 9 Feb 2024 02:59:33 GMT
ステータス: 処理完了
システム内更新日: 2024-02-12 21:18:11.931047
Title: Robust variance-regularized risk minimization with concomitant scaling
Title（参考訳）: 同時スケーリングによるロバスト分散正規化リスク最小化
Authors: Matthew J. Holland
Abstract要約: 潜在的に重みのある損失の下では、分散を正確に見積もることなく、損失平均と標準偏差の和を最小化する作業を考える。分散のないロバスト平均推定手法を改良することにより、従来の機械学習で使用する標準勾配解法と簡単に組み合わせられる簡単な学習手順を導出する。
参考スコア（独自算出の注目度）: 8.666172545138275
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Under losses which are potentially heavy-tailed, we consider the task of minimizing sums of the loss mean and standard deviation, without trying to accurately estimate the variance. By modifying a technique for variance-free robust mean estimation to fit our problem setting, we derive a simple learning procedure which can be easily combined with standard gradient-based solvers to be used in traditional machine learning workflows. Empirically, we verify that our proposed approach, despite its simplicity, performs as well or better than even the best-performing candidates derived from alternative criteria such as CVaR or DRO risks on a variety of datasets.
Abstract（参考訳）: 重みを負う可能性のある損失の下では、損失平均と標準偏差の和を最小化し、分散を正確に推定することを考える。分散のないロバスト平均推定手法を改良して問題設定に適合させることにより、従来の機械学習ワークフローで使用する標準勾配に基づく解法と簡単に組み合わせられる簡単な学習手順を導出する。実験により,提案手法の単純さにもかかわらず,CVaR や DRO などの代替基準から導出される最高の性能の候補であっても,その性能は良好であることを確認した。

関連論文リスト

Making Robust Generalizers Less Rigid with Soft Ascent-Descent [6.527016551650139]
シャープネスを意識した最小化を適用する手法は、画像分類タスクでは成功したが、最も難しいポイントが最も一般的でないシナリオでは、ディープニューラルネットワークのみを使用する。本研究では,このような戦略が,より多様なモデルの下で劇的に破壊されうることを示すとともに,より堅牢な代替手段として,損失集中を低下させる訓練基準を提案し,評価する。
論文参考訳（メタデータ） (2024-08-07T08:23:42Z)
Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文参考訳（メタデータ） (2023-12-07T15:55:58Z)
Empirical Risk Minimization for Losses without Variance [26.30435936379624]
重み付けされた条件下では、データは有限分散を持たないが、$p in (1,2)$で$p$のモーメントしか持たない経験的リスク問題を考察する。トランカットされた観測データに基づいて推定を行う代わりに,リスク値の最小化による最小化を選択する。これらのリスク値は、顕著なカトニ法(Catoni, 2012)を用いて、頑健に推定できる。
論文参考訳（メタデータ） (2023-09-07T16:14:00Z)
On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
論文参考訳（メタデータ） (2023-05-29T15:25:48Z)
A Model-Based Method for Minimizing CVaR and Beyond [7.751691910877239]
CVaR(Conditional Value-at-Risk)目標の最小化のために, Prox-linear 法の変種を開発した。 CVaRは最悪のケースのパフォーマンスを最小化することに焦点を当てたリスク尺度であり、損失の最上位量の平均として定義される。機械学習では、そのようなリスク尺度はより堅牢なモデルをトレーニングするのに有用である。
論文参考訳（メタデータ） (2023-05-27T15:38:53Z)
Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文参考訳（メタデータ） (2022-04-13T12:43:12Z)
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文参考訳（メタデータ） (2021-06-03T09:50:13Z)
Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。勾配推定の品質はリスク最小化においてより重要であることを示す。本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-05T04:19:37Z)
Tilted Empirical Risk Minimization [26.87656095874882]
経験的リスク最小化への直接的な拡張を通じて、個人の損失の影響を柔軟に調整できることを示す。その結果, TERMはアウトリーチの影響を増大または減少させ, 公平性や堅牢性を実現することができることがわかった。また、外れ値に同時に対処したり、公平性を促進するなど、全く新しいアプリケーションを可能にすることもできる。
論文参考訳（メタデータ） (2020-07-02T14:49:48Z)
Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文参考訳（メタデータ） (2020-06-12T12:23:50Z)
A Graduated Filter Method for Large Scale Robust Estimation [32.08441889054456]
そこで我々は,ローカル・ミニマから逃れる強力な能力を有する,ロバストな推定のための新しい解法を提案する。我々のアルゴリズムは、多くのローカルなミニマが不足している問題を解くために、最先端の手法に基づいて構築されている。
論文参考訳（メタデータ） (2020-03-20T02:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。