#### 論文の概要: The Geometry and Calculus of Losses

• arxiv url: http://arxiv.org/abs/2209.00238v1
• Date: Thu, 1 Sep 2022 05:57:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 13:37:22.051528
• Title: The Geometry and Calculus of Losses
• Title（参考訳）: 損失の幾何学と計算
• Authors: Robert C. Williamson and Zac Cranko
• Abstract要約: 基本成分が特定の構造を持つ凸集合である視点から損失関数の理論を発展させる。 これにより、これまで気付かなかったと思われる損失と(反)ノルムの基本的な関係の開発が可能になる。 第二に、凸集合の計算によって引き起こされる損失の計算が発展し、異なる損失の中間となる。 第三に、パースペクティブは、損失を定義する凸集合の極双対から導かれる極'(あるいは逆')損失函数の自然な理論につながる。
• 参考スコア（独自算出の注目度）: 15.81304538466444
• Abstract: Statistical decision problems are the foundation of statistical machine learning. The simplest problems are binary and multiclass classification and class probability estimation. Central to their definition is the choice of loss function, which is the means by which the quality of a solution is evaluated. In this paper we systematically develop the theory of loss functions for such problems from a novel perspective whose basic ingredients are convex sets with a particular structure. The loss function is defined as the subgradient of the support function of the convex set. It is consequently automatically proper (calibrated for probability estimation). This perspective provides three novel opportunities. It enables the development of a fundamental relationship between losses and (anti)-norms that appears to have not been noticed before. Second, it enables the development of a calculus of losses induced by the calculus of convex sets which allows the interpolation between different losses, and thus is a potential useful design tool for tailoring losses to particular problems. In doing this we build upon, and considerably extend, existing results on M-sums of convex sets. Third, the perspective leads to a natural theory of `polar' (or `inverse') loss functions, which are derived from the polar dual of the convex set defining the loss, and which form a natural universal substitution function for Vovk's aggregating algorithm.
• Abstract（参考訳）: 統計的決定問題は統計機械学習の基礎である。 最も単純な問題は二進分類と多クラス分類とクラス確率推定である。 それらの定義の中心は損失関数の選択であり、これは解の品質を評価する手段である。 本稿では,そのような問題に対する損失関数の理論を,基本成分が特定の構造を持つ凸集合である新しい視点から体系的に展開する。 損失関数は凸集合の支持関数の次数として定義される。 したがって、自動的に正しい(確率推定の校正)。 この視点は3つの新しい機会をもたらす。 これにより、これまで気付かなかったと思われる損失と(反)ノルムの基本的な関係の開発が可能になる。 第二に、異なる損失間の補間を可能にする凸集合の微積分によって引き起こされる損失の計算法の開発を可能にするので、特定の問題に対する損失の調整に潜在的に有用な設計ツールとなる。 これを行う際、凸集合の M-sum に関する既存の結果の上に構築し、かなり拡張する。 第三に、この視点は、損失を定義する凸集合の極双対から導出され、vovkの集約アルゴリズムの自然な普遍的置換関数を形成する「極」損失関数(または「逆」)の自然理論を導く。

#### 関連論文リスト

• Xtreme Margin: A Tunable Loss Function for Binary Classification Problems [0.0]
本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。 二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
論文  参考訳（メタデータ） (2022-10-31T22:39:32Z)
• Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。 設計上、Los OIは直感的かつ直感的に全滅を意味する。 一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
論文  参考訳（メタデータ） (2022-10-16T22:25:27Z)
• Hybridised Loss Functions for Improved Neural Network Generalisation [0.0]
損失関数は人工ニューラルネットワーク(ANN)のトレーニングにおいて重要な役割を果たす クロスエントロピーと合計2乗誤差損失関数は異なるトレーニングダイナミクスをもたらすことが示されている。 エントロピーと和2乗誤差損失関数のハイブリッドは、2つの関数の利点を組み合わせ、その欠点を制限できる。
論文  参考訳（メタデータ） (2022-04-26T11:52:11Z)
• Generalization Bounds via Convex Analysis [12.411844611718958]
連関出力分布の強い凸関数によって相互情報を置き換えることが可能であることを示す。 例えば、\$p\$-normの発散とワッサーシュタイン2距離の項で表される境界がある。
論文  参考訳（メタデータ） (2022-02-10T12:30:45Z)
• An Indirect Rate-Distortion Characterization for Semantic Sources: General Model and the Case of Gaussian Observation [83.93224401261068]
ソースモデルは、情報の意味的側面に対する最近の関心の高まりによって動機付けられている。 intrinsic状態は、一般に観測不可能なソースの意味的特徴に対応する。 レート歪み関数は、ソースのセマンティックレート歪み関数である。
論文  参考訳（メタデータ） (2022-01-29T02:14:24Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Learning Output Embeddings in Structured Prediction [73.99064151691597]
構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。 原空間における予測は、前像問題の解法により計算される。 本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
論文  参考訳（メタデータ） (2020-07-29T09:32:53Z)
• All your loss are belong to Bayes [28.393499629583786]
ロス関数は機械学習の基盤であり、ほとんどのアルゴリズムの出発点である。 正方形ガウス過程を用いて経路が整合なソース関数を持つランダムな過程を求める。 実験の結果は、最先端技術よりも大幅に改善された。
論文  参考訳（メタデータ） (2020-06-08T14:31:21Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)
• Supervised Learning: No Loss No Cry [51.07683542418145]
教師付き学習は最小化するために損失関数の仕様を必要とする。 本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。 損失を学習するための原則的な手順をいかに提供するかを示す。
論文  参考訳（メタデータ） (2020-02-10T05:30:52Z)