論文の概要: Lower-bounded proper losses for weakly supervised classification
- arxiv url: http://arxiv.org/abs/2103.02893v1
- Date: Thu, 4 Mar 2021 08:47:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 15:07:06.329459
- Title: Lower-bounded proper losses for weakly supervised classification
- Title(参考訳): 弱監督分類における低有界適正損失
- Authors: Shuhei M. Yoshida, Takashi Takenouchi, Masashi Sugiyama
- Abstract要約: 本稿では,弱いラベルが与えられた分類の弱い教師付き学習の問題について議論する。
サベージ表現を双対化する教師付き学習における適切な損失を表す表現定理を導出する。
提案手法の有効性を,不適切な損失や非有界損失と比較して実験的に実証した。
- 参考スコア(独自算出の注目度): 73.974163801142
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper discusses the problem of weakly supervised learning of
classification, in which instances are given weak labels that are produced by
some label-corruption process. The goal is to derive conditions under which
loss functions for weak-label learning are proper and lower-bounded -- two
essential requirements for the losses used in class-probability estimation. To
this end, we derive a representation theorem for proper losses in supervised
learning, which dualizes the Savage representation. We use this theorem to
characterize proper weak-label losses and find a condition for them to be
lower-bounded. Based on these theoretical findings, we derive a novel
regularization scheme called generalized logit squeezing, which makes any
proper weak-label loss bounded from below, without losing properness.
Furthermore, we experimentally demonstrate the effectiveness of our proposed
approach, as compared to improper or unbounded losses. Those results highlight
the importance of properness and lower-boundedness. The code is publicly
available at https://github.com/yoshum/lower-bounded-proper-losses.
- Abstract(参考訳): 本稿では,あるラベル破損プロセスによって生成される弱いラベルをインスタンスに付与する分類の弱い教師付き学習の問題について論じる。
目標は、弱ラベル学習における損失関数が適切かつ低境界である条件を導出することであり、クラス確率推定に使用される損失の2つの必須条件である。
そのために、教師付き学習における適切な損失を表す表現定理を導出し、サベージ表現を双対化する。
この定理を用いて, 固有な弱ラベル損失を特徴付け, 低バウンドとなる条件を見いだす。
これらの理論的知見に基づき, 正則化法則化法を導出し, 正則性を失うことなく, 下から任意の弱ラベル損失を境界とする一般化ロジット絞込み法を導出する。
さらに,提案手法の有効性を,不適切な損失や非バウンド損失と比較して実験的に実証した。
これらの結果は、適切性と低い有界性の重要性を強調します。
コードはhttps://github.com/yoshum/lower-bounded-proper-lossesで公開されている。
関連論文リスト
- A fuzzy loss for ontology classification [0.0]
本稿では,ラベルに基づく損失と,不随意違反や不随意違反といった用語を併用したファジィ損失を提案する。
ファジィ損失は, 分類性能を低下させることなく, 整合性違反の数を大幅に削減できることを示す。
論文 参考訳(メタデータ) (2024-05-03T13:20:37Z) - Generating Unbiased Pseudo-labels via a Theoretically Guaranteed
Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。
本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。
チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
論文 参考訳(メタデータ) (2023-11-03T08:39:35Z) - Partial-Label Regression [54.74984751371617]
部分ラベル学習は、弱い教師付き学習環境であり、各トレーニング例に候補ラベルのセットをアノテートすることができる。
部分ラベル学習に関する従来の研究は、候補ラベルがすべて離散的な分類設定のみに焦点を当てていた。
本稿では,各トレーニング例に実値付き候補ラベルのセットをアノテートした部分ラベル回帰を初めて検討する。
論文 参考訳(メタデータ) (2023-06-15T09:02:24Z) - Understanding Square Loss in Training Overparametrized Neural Network
Classifiers [31.319145959402462]
過度にパラメータ化されたニューラルネットワークでどのように機能するかを体系的に検討することにより、分類における二乗損失の理論的理解に寄与する。
クラスが分離可能か否かに応じて2つのケースを考慮する。一般的な非分離可能の場合、誤分類率と校正誤差の両方について、高速収束率が確立される。
結果として得られるマージンはゼロから下界であることが証明され、ロバスト性の理論的な保証を提供する。
論文 参考訳(メタデータ) (2021-12-07T12:12:30Z) - Constrained Classification and Policy Learning [0.0]
制約付き分類器の集合における代理損失手順の整合性について検討する。
ヒンジ損失が第2のベストシナリオにおける一貫性を維持する唯一のサロゲート損失であることを示す。
論文 参考訳(メタデータ) (2021-06-24T10:43:00Z) - Leveraged Weighted Loss for Partial Label Learning [64.85763991485652]
部分ラベル学習は、各インスタンスに候補ラベルのセットが割り当てられるデータを扱うが、そのうちの1つだけが真実である。
部分ラベルからの学習に関する多くの方法論の研究にもかかわらず、リスク一貫した性質に関する理論的理解はいまだに欠けている。
本稿では,テキスト重み付き損失(LW)と呼ばれる損失関数のファミリーを提案する。これはまず,部分ラベル上の損失と非部分的な損失とのトレードオフを検討するために,レバレッジパラメータ$beta$を導入する。
論文 参考訳(メタデータ) (2021-06-10T13:25:13Z) - A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。
我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
論文 参考訳(メタデータ) (2021-01-05T06:25:47Z) - Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。
また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
論文 参考訳(メタデータ) (2020-05-28T02:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。