論文の概要: The Geometry and Calculus of Losses
- arxiv url: http://arxiv.org/abs/2209.00238v2
- Date: Thu, 17 Aug 2023 14:57:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 01:15:58.265035
- Title: The Geometry and Calculus of Losses
- Title（参考訳）: 損失の幾何学と計算
- Authors: Robert C. Williamson and Zac Cranko
- Abstract要約: 本稿では,二項・多クラス分類とクラス確率推定問題に対する損失関数の理論を開発する。
視点は3つの新しい機会を提供する。
これにより、これまで気付かなかったと思われる損失と(反)ノルムの基本的な関係の開発が可能になる。
第二に、凸集合の計算によって引き起こされる損失の計算の開発を可能にする。
第三に、パースペクティブは、損失を定義する凸集合の極双対から導かれる極の損失関数の自然な理論につながる。
- 参考スコア（独自算出の注目度）: 10.451984251615512
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Statistical decision problems lie at the heart of statistical machine
learning. The simplest problems are binary and multiclass classification and
class probability estimation. Central to their definition is the choice of loss
function, which is the means by which the quality of a solution is evaluated.
In this paper we systematically develop the theory of loss functions for such
problems from a novel perspective whose basic ingredients are convex sets with
a particular structure. The loss function is defined as the subgradient of the
support function of the convex set. It is consequently automatically proper
(calibrated for probability estimation). This perspective provides three novel
opportunities. It enables the development of a fundamental relationship between
losses and (anti)-norms that appears to have not been noticed before. Second,
it enables the development of a calculus of losses induced by the calculus of
convex sets which allows the interpolation between different losses, and thus
is a potential useful design tool for tailoring losses to particular problems.
In doing this we build upon, and considerably extend existing results on
$M$-sums of convex sets. Third, the perspective leads to a natural theory of
``polar'' loss functions, which are derived from the polar dual of the convex
set defining the loss, and which form a natural universal substitution function
for Vovk's aggregating algorithm.
- Abstract（参考訳）: 統計的決定問題は統計的機械学習の核心にある。
最も単純な問題は二進分類と多クラス分類とクラス確率推定である。
それらの定義の中心は損失関数の選択であり、これは解の品質を評価する手段である。
本稿では,そのような問題に対する損失関数の理論を,基本成分が特定の構造を持つ凸集合である新しい視点から体系的に展開する。
損失関数は凸集合の支持関数の次数として定義される。
したがって、自動的に正しい(確率推定の校正)。
この視点は3つの新しい機会をもたらす。
これにより、これまで気付かなかったと思われる損失と(反)ノルムの基本的な関係の開発が可能になる。
第二に、異なる損失間の補間を可能にする凸集合の微積分によって引き起こされる損失の計算法の開発を可能にするので、特定の問題に対する損失の調整に潜在的に有用な設計ツールとなる。
これを行う際には、凸集合の$M$-sumに対して既存の結果をかなり拡張します。
第三に、パースペクティブは、損失を定義する凸集合の極双対から派生した ``polar'' の損失関数の自然な理論を導いており、Vovk の集約アルゴリズムの自然な普遍置換関数を形成する。
関連論文リスト
- Binary Losses for Density Ratio Estimation [2.512309434783062]
2つの確率密度の比率を推定することは、機械学習と統計学における中心的な問題である。
本稿では,大きな値の正確な推定を優先する損失関数など,特定の特性を持つ損失関数を構築するための簡単なレシピを提案する。
これはロジスティック損失やロジスティック損失などの古典的損失関数とは対照的であり、小さな値の正確な推定を優先する。
論文 参考訳（メタデータ） (2024-07-01T15:24:34Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - A survey and taxonomy of loss functions in machine learning [51.35995529962554]
本稿では, 回帰, 分類, 生成モデル, ランキング, エネルギーベースモデリングなど, 主要なアプリケーションにまたがる最も広く使われている損失関数について概観する。
直感的な分類法で構築された43個の個別の損失関数を導入し,それらの理論的基礎,特性,最適な適用状況を明らかにした。
論文 参考訳（メタデータ） (2023-01-13T14:38:24Z) - Xtreme Margin: A Tunable Loss Function for Binary Classification
Problems [0.0]
本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。
二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
論文 参考訳（メタデータ） (2022-10-31T22:39:32Z) - Hybridised Loss Functions for Improved Neural Network Generalisation [0.0]
損失関数は人工ニューラルネットワーク(ANN)のトレーニングにおいて重要な役割を果たす
クロスエントロピーと合計2乗誤差損失関数は異なるトレーニングダイナミクスをもたらすことが示されている。
エントロピーと和2乗誤差損失関数のハイブリッドは、2つの関数の利点を組み合わせ、その欠点を制限できる。
論文 参考訳（メタデータ） (2022-04-26T11:52:11Z) - Generalization Bounds via Convex Analysis [12.411844611718958]
連関出力分布の強い凸関数によって相互情報を置き換えることが可能であることを示す。
例えば、$p$-normの発散とワッサーシュタイン2距離の項で表される境界がある。
論文 参考訳（メタデータ） (2022-02-10T12:30:45Z) - Universal Online Convex Optimization Meets Second-order Bounds [74.0120666722487]
ユニバーサルオンライン凸最適化のための簡単な戦略を提案する。
主要なアイデアは、オリジナルのオンライン機能を処理するための専門家のセットを構築し、線形化された損失に対してメタアルゴリズムをデプロイすることである。
このようにして、私たちはブラックボックスの専門家として、既成のオンライン問題解決者をプラグインして、問題依存の後悔の限界を提供することができます。
論文 参考訳（メタデータ） (2021-05-08T11:43:49Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - All your loss are belong to Bayes [28.393499629583786]
ロス関数は機械学習の基盤であり、ほとんどのアルゴリズムの出発点である。
正方形ガウス過程を用いて経路が整合なソース関数を持つランダムな過程を求める。
実験の結果は、最先端技術よりも大幅に改善された。
論文 参考訳（メタデータ） (2020-06-08T14:31:21Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z) - Supervised Learning: No Loss No Cry [51.07683542418145]
教師付き学習は最小化するために損失関数の仕様を必要とする。
本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。
損失を学習するための原則的な手順をいかに提供するかを示す。
論文 参考訳（メタデータ） (2020-02-10T05:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。