論文の概要: Supervised Learning: No Loss No Cry
- arxiv url: http://arxiv.org/abs/2002.03555v1
- Date: Mon, 10 Feb 2020 05:30:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 07:41:18.945274
- Title: Supervised Learning: No Loss No Cry
- Title（参考訳）: 教師付き学習: 損失なし 涙なし
- Authors: Richard Nock and Aditya Krishna Menon
- Abstract要約: 教師付き学習は最小化するために損失関数の仕様を必要とする。
本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。
損失を学習するための原則的な手順をいかに提供するかを示す。
- 参考スコア（独自算出の注目度）: 51.07683542418145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised learning requires the specification of a loss function to
minimise. While the theory of admissible losses from both a computational and
statistical perspective is well-developed, these offer a panoply of different
choices. In practice, this choice is typically made in an \emph{ad hoc} manner.
In hopes of making this procedure more principled, the problem of
\emph{learning the loss function} for a downstream task (e.g., classification)
has garnered recent interest. However, works in this area have been generally
empirical in nature.
In this paper, we revisit the {\sc SLIsotron} algorithm of Kakade et al.
(2011) through a novel lens, derive a generalisation based on Bregman
divergences, and show how it provides a principled procedure for learning the
loss. In detail, we cast {\sc SLIsotron} as learning a loss from a family of
composite square losses. By interpreting this through the lens of \emph{proper
losses}, we derive a generalisation of {\sc SLIsotron} based on Bregman
divergences. The resulting {\sc BregmanTron} algorithm jointly learns the loss
along with the classifier. It comes equipped with a simple guarantee of
convergence for the loss it learns, and its set of possible outputs comes with
a guarantee of agnostic approximability of Bayes rule. Experiments indicate
that the {\sc BregmanTron} substantially outperforms the {\sc SLIsotron}, and
that the loss it learns can be minimized by other algorithms for different
tasks, thereby opening the interesting problem of \textit{loss transfer}
between domains.
- Abstract（参考訳）: 教師付き学習は最小化するために損失関数の仕様を必要とする。
計算と統計の両方の観点からの許容損失の理論はよく発達しているが、これらは異なる選択のパノピーを提供する。
実際には、この選択は通常 \emph{ad hoc} の方法で行われる。
この手順をより原則的にすることを望んで、下流タスク(例えば分類)に対する \emph{learning the loss function} の問題は最近の関心を集めている。
しかし、この分野の研究は自然界において概して経験的であった。
本稿では,kakade et al. (2011) の {\sc slisotron} アルゴリズムを新しいレンズを通して再検討し,bregman divergences に基づく一般化を導出し,損失学習のための原理的手順を提供する方法を示す。
詳しくは、複合正方形損失の族から損失を学習するものとして {\sc slisotron} をキャストする。
これを \emph{proper loss} のレンズで解釈することで、ブレグマンの発散に基づく {\sc SLIsotron} の一般化が導かれる。
結果の {\sc BregmanTron} アルゴリズムは、分類器とともに損失を共同で学習する。
学習した損失に対する収束性の簡単な保証と、その可能な出力セットには、ベイズ則の不可知な近似可能性の保証が備わっている。
実験により、 {\sc BregmanTron} は {\sc SLIsotron} を著しく上回り、学習した損失は異なるタスクに対して他のアルゴリズムによって最小化され、したがってドメイン間での \textit{loss transfer} という興味深い問題が発生する。
関連論文リスト
- LegendreTron: Uprising Proper Multiclass Loss Learning [22.567234503869845]
損失関数は教師付き学習の基盤として機能し、しばしばモデル開発の前に選択される。
最近の研究は、損失とモデルを共同で引き起こそうとしている。
sc LegendreTron は,多クラス問題に対するアンフォプロペラの正準損失と確率を共同で学習する,新規かつ実用的な方法である。
論文 参考訳（メタデータ） (2023-01-27T13:10:45Z) - Regularized ERM on random subspaces [17.927376388967144]
我々は、Nystromがカーネルメソッドに近づいた特殊なケースとして、データのランダムなサブセットにまたがるデータ依存部分空間を考える。
ランダムな部分空間を考えると自然に計算上の節約につながるが、問題は対応する学習精度が劣化するかどうかである。
論文 参考訳（メタデータ） (2022-12-04T16:12:11Z) - What killed the Convex Booster ? [70.04715330065275]
LongとServedioの目覚ましい否定的な結果は、教師付き学習トリオの最悪の大失敗を生んだ。
否定的な結果の源泉は,ML の広範(あるいはそれ以外は注目に値する)な側面のダークサイドにある,と我々は主張する。
論文 参考訳（メタデータ） (2022-05-19T15:42:20Z) - Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。
近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。
これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
論文 参考訳（メタデータ） (2022-02-14T15:18:00Z) - Omnipredictors [19.735769148626588]
ロス最小化は機械学習において支配的なパラダイムである。
我々は家族の損失を最適化するために使用できる$mathcalL,mathcalC$)-omnipredictorの概念を紹介した。
このような「余分な知識」の学習は、多重校正とのつながりを通して実現可能であることを示す。
論文 参考訳（メタデータ） (2021-09-11T23:28:49Z) - Being Properly Improper [36.52509571098292]
正当性を剥奪された場合、類型的確率に基づく損失を分析する。
S. Arimoto が導入した半世紀の古い損失の自然な延長は、ねじれ固有であることを示す。
次に、適切な損失を減らし、加速するために、最も優れたオフザシェルフアルゴリズムをいくつか提供した理論に目を向けます。
論文 参考訳（メタデータ） (2021-06-18T05:00:15Z) - All your loss are belong to Bayes [28.393499629583786]
ロス関数は機械学習の基盤であり、ほとんどのアルゴリズムの出発点である。
正方形ガウス過程を用いて経路が整合なソース関数を持つランダムな過程を求める。
実験の結果は、最先端技術よりも大幅に改善された。
論文 参考訳（メタデータ） (2020-06-08T14:31:21Z) - Upper Confidence Primal-Dual Reinforcement Learning for CMDP with
Adversarial Loss [145.54544979467872]
マルコフ決定過程(CMDP)に対するオンライン学習の検討
本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。
我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
論文 参考訳（メタデータ） (2020-03-02T05:02:23Z) - Learning Near Optimal Policies with Low Inherent Bellman Error [115.16037976819331]
エピソード強化学習における近似線形作用値関数を用いた探索問題について検討する。
我々は,検討した設定に対して最適な統計率を達成するアルゴリズムを用いて,Emphbatch仮定のみを用いて探索を行うことが可能であることを示す。
論文 参考訳（メタデータ） (2020-02-29T02:02:40Z) - Over-parameterized Adversarial Training: An Analysis Overcoming the
Curse of Dimensionality [74.0084803220897]
逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。
自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
論文 参考訳（メタデータ） (2020-02-16T20:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。