論文の概要: Learning with Fitzpatrick Losses

• arxiv url: http://arxiv.org/abs/2405.14574v1
• Date: Thu, 23 May 2024 13:49:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 14:55:28.149105
• Title: Learning with Fitzpatrick Losses
• Title（参考訳）: Fitzpatrick Lossesによる学習
• Authors: Seta Rakotomandimby, Jean-Philippe Chancelier, Michel de Lara, Mathieu Blondel,
• Abstract要約: フィッツパトリック関数に基づいた凸損失関数の族であるフィッツパトリック損失を導入する。 極大単調作用素論におけるよく知られた理論ツールであるフィッツパトリック函数は、自然に洗練されたフェンシェル・ヨンの不等式をもたらす。 Fitzpatrick の損失は Fenchel-Young の損失と見なせる。
• 参考スコア（独自算出の注目度）: 8.646463280218901
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fenchel-Young losses are a family of convex loss functions, encompassing the squared, logistic and sparsemax losses, among others. Each Fenchel-Young loss is implicitly associated with a link function, for mapping model outputs to predictions. For instance, the logistic loss is associated with the soft argmax link function. Can we build new loss functions associated with the same link function as Fenchel-Young losses? In this paper, we introduce Fitzpatrick losses, a new family of convex loss functions based on the Fitzpatrick function. A well-known theoretical tool in maximal monotone operator theory, the Fitzpatrick function naturally leads to a refined Fenchel-Young inequality, making Fitzpatrick losses tighter than Fenchel-Young losses, while maintaining the same link function for prediction. As an example, we introduce the Fitzpatrick logistic loss and the Fitzpatrick sparsemax loss, counterparts of the logistic and the sparsemax losses. This yields two new tighter losses associated with the soft argmax and the sparse argmax, two of the most ubiquitous output layers used in machine learning. We study in details the properties of Fitzpatrick losses and in particular, we show that they can be seen as Fenchel-Young losses using a modified, target-dependent generating function. We demonstrate the effectiveness of Fitzpatrick losses for label proportion estimation.
• Abstract（参考訳）: Fenchel-Youngの損失は凸損失関数のファミリーであり、正方形、ロジスティック、スパースマックスの損失を含む。 各Fenchel-Young損失は、モデル出力を予測にマッピングするリンク関数に暗黙的に関連付けられている。 例えば、ロジスティック損失はソフトなargmaxリンク関数と関連している。 Fenchel-Young の損失と同じリンク関数で新しい損失関数を構築できるだろうか? 本稿では,Fitzpatrick関数に基づく凸損失関数の新たなファミリーであるFitzpatrick損失を紹介する。 極大単調作用素論においてよく知られた理論ツールであるフィッツパトリック函数は自然に洗練されたフェンシェル・ヤング不等式を導き、フィッツパトリックの損失はフェンシェル・ヤングの損失よりも強く、予測のための同じリンク関数を維持している。 例えば、Fitzpatrickのロジスティックな損失と、Fitzpatrickのスパースマックスな損失、すなわちロジスティックな損失とスパースマックスな損失を導入する。 これにより、ソフトなargmaxとスパースなargmaxと、マシンラーニングで使用される最もユビキタスな出力層のうちの2つに、新たな2つの損失が生じる。 我々はフィッツパトリックの損失の性質を詳細に研究し、特に、修正された目標依存生成関数を用いてフェンシェル・ヨンの損失と見なせることを示す。 ラベル比率推定におけるフィッツパトリック損失の有効性を示す。

関連論文リスト

• Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
  本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。 これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。 これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
  論文  参考訳（メタデータ） (2023-04-14T17:58:23Z)
• Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
  半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。 近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。 これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
  論文  参考訳（メタデータ） (2022-02-14T15:18:00Z)
• Omnipredictors [19.735769148626588]
  ロス最小化は機械学習において支配的なパラダイムである。 我々は家族の損失を最適化するために使用できる$mathcalL,mathcalC$)-omnipredictorの概念を紹介した。 このような「余分な知識」の学習は、多重校正とのつながりを通して実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-11T23:28:49Z)
• Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
  そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。 ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-06-06T12:52:48Z)
• Max-Margin is Dead, Long Live Max-Margin! [87.90853526750716]
  最大マージン損失は、距離間の誤差を計測する離散損失について、非常に限定的な仮定の下では、分類タスクと整合性しか持たないことが示される。 Restricted-Max-Marginでは、損失増大スコアが維持されるが、元のドメインのサブセット上で実行される。
  論文  参考訳（メタデータ） (2021-05-31T15:55:52Z)
• The Fourier Loss Function [0.0]
  本稿では,Fourier-based Metricによって誘導される新たな損失関数を提案する。 フーリエ損失関数が2倍微分可能であることを証明し、その勾配とヘッセン行列の両方に対して明示的な公式を与える。 MNIST, Fashion-MNIST, CIFAR10データセットを用いて, 損失関数を多クラス分類タスクに適用する。
  論文  参考訳（メタデータ） (2021-02-05T03:19:44Z)
• Risk Bounds for Robust Deep Learning [1.52292571922932]
  ある種の損失関数は、データの欠陥に対してディープラーニングパイプラインを堅牢にすることができる。 特に,非有界リプシッツ連続損失関数,例えば最小絶対偏差損失,フーバー損失,コーシー損失,トゥキーの双重損失などの経験的リスク最小化は,データに対する最小の仮定の下で効率的に予測できることを示す。
  論文  参考訳（メタデータ） (2020-09-14T05:06:59Z)
• An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay [72.23433407017558]
  非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。 驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
  論文  参考訳（メタデータ） (2020-07-12T17:45:24Z)
• All your loss are belong to Bayes [28.393499629583786]
  ロス関数は機械学習の基盤であり、ほとんどのアルゴリズムの出発点である。 正方形ガウス過程を用いて経路が整合なソース関数を持つランダムな過程を求める。 実験の結果は、最先端技術よりも大幅に改善された。
  論文  参考訳（メタデータ） (2020-06-08T14:31:21Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)
• Supervised Learning: No Loss No Cry [51.07683542418145]
  教師付き学習は最小化するために損失関数の仕様を必要とする。 本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。 損失を学習するための原則的な手順をいかに提供するかを示す。
  論文  参考訳（メタデータ） (2020-02-10T05:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。