論文の概要: Proper losses regret at least 1/2-order
- arxiv url: http://arxiv.org/abs/2407.10417v1
- Date: Mon, 15 Jul 2024 03:46:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 16:20:45.778112
- Title: Proper losses regret at least 1/2-order
- Title（参考訳）: 高い損失は少なくとも1/2オーダーを後悔する
- Authors: Han Bao, Asuka Takatsu,
- Abstract要約: 我々は、損失の厳密な正当性は、非空きサロゲート的後悔境界を確立するのに十分であることを示す。
また、p-ノルムにおける収束の順序は、厳密な適切な損失の幅広いクラスに対する1/2$のサロゲート後悔の順序よりは高速ではないことを示す。
- 参考スコア（独自算出の注目度）: 1.7986307635828565
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: A fundamental challenge in machine learning is the choice of a loss as it characterizes our learning task, is minimized in the training phase, and serves as an evaluation criterion for estimators. Proper losses are commonly chosen, ensuring minimizers of the full risk match the true probability vector. Estimators induced from a proper loss are widely used to construct forecasters for downstream tasks such as classification and ranking. In this procedure, how does the forecaster based on the obtained estimator perform well under a given downstream task? This question is substantially relevant to the behavior of the $p$-norm between the estimated and true probability vectors when the estimator is updated. In the proper loss framework, the suboptimality of the estimated probability vector from the true probability vector is measured by a surrogate regret. First, we analyze a surrogate regret and show that the strict properness of a loss is necessary and sufficient to establish a non-vacuous surrogate regret bound. Second, we solve an important open question that the order of convergence in p-norm cannot be faster than the $1/2$-order of surrogate regrets for a broad class of strictly proper losses. This implies that strongly proper losses entail the optimal convergence rate.
- Abstract（参考訳）: 機械学習における基本的な課題は、学習タスクを特徴づける損失の選択であり、トレーニングフェーズで最小化され、推定者の評価基準として機能する。
適切な損失は一般的に選択され、完全なリスクの最小化が真の確率ベクトルと一致することを保証する。
適切な損失から誘導される推定器は、分類やランキングなどの下流タスクの予測器を構築するために広く使用されている。
この方法では、与えられた下流タスクにおいて、得られた推定器に基づく予測器は、どのようにうまく機能するか。
この問題は、推定値と真の確率ベクトルの間の$p$-normの振舞いに、推定値が更新されたときに大きく関係している。
適切な損失枠組において、真の確率ベクトルから推定された確率ベクトルの亜最適度を代理後悔によって測定する。
まず、代理的後悔を分析し、損失の厳密な正当性が必要であり、非空き代理的後悔境界を確立するのに十分であることを示す。
第二に、p-ノルムにおける収束の順序は、厳密な正当な損失の広いクラスに対する1/2$-オーダーのサロゲート後悔よりも高速ではないという重要なオープンな問題を解く。
これは、強い適切な損失は最適収束率を含むことを意味する。
関連論文リスト
- Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - U-Calibration: Forecasting for an Unknown Agent [29.3181385170725]
単一のスコアリングルールに対する予測を最適化することは、すべてのエージェントに対して低い後悔を保証できないことを示す。
予測列の最大後悔度に匹敵するU校正と呼ばれる予測を評価するための新しい指標を提案する。
論文 参考訳（メタデータ） (2023-06-30T23:05:26Z) - On Second-Order Scoring Rules for Epistemic Uncertainty Quantification [8.298716599039501]
本研究では,2次学習者が不確実性を忠実に表現する動機となる損失関数が存在しないことを示す。
この結果を証明するための主要な数学的ツールとして,2次スコアリングルールの一般化概念を導入する。
論文 参考訳（メタデータ） (2023-01-30T08:59:45Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳（メタデータ） (2022-05-27T11:13:17Z) - On the Difficulty of Epistemic Uncertainty Quantification in Machine
Learning: The Case of Direct Uncertainty Estimation through Loss Minimisation [8.298716599039501]
不確かさの定量化は機械学習で注目を集めている。
後者は学習者の知識(知識の欠如)を指し、特に測定と定量化が難しいようである。
損失最小化は2次予測器では有効でないことを示す。
論文 参考訳（メタデータ） (2022-03-11T17:26:05Z) - Unifying Lower Bounds on Prediction Dimension of Consistent Convex
Surrogates [12.751555473216683]
予測タスクを考えると、一貫した凸サーロゲート損失を設計できるかどうかを理解することは、機械学習研究の重要な領域です。
我々はこれらの設定をプロパティ・エリシテーションのツールを用いて統一し、予測次元の一般的な下限を与える。
我々の下限は、離散的な予測の場合の既存の結果を厳しくし、以前のキャリブレーションに基づく境界は、主にプロパティ・エリケーションによって回復可能であることを示す。
連続推定では, リスクと不確実性の指標を推定し, 未解決の問題に対処する。
論文 参考訳（メタデータ） (2021-02-16T15:29:05Z) - A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。
我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
論文 参考訳（メタデータ） (2021-01-05T06:25:47Z) - Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。
また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
論文 参考訳（メタデータ） (2020-05-28T02:40:42Z) - Optimal Change-Point Detection with Training Sequences in the Large and
Moderate Deviations Regimes [72.68201611113673]
本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。
基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
論文 参考訳（メタデータ） (2020-03-13T23:39:40Z) - Understanding and Mitigating the Tradeoff Between Robustness and
Accuracy [88.51943635427709]
逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。
拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
論文 参考訳（メタデータ） (2020-02-25T08:03:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。