論文の概要: A Symmetric Loss Perspective of Reliable Machine Learning

• arxiv url: http://arxiv.org/abs/2101.01366v2
• Date: Mon, 5 Jun 2023 23:49:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 00:21:17.226397
• Title: A Symmetric Loss Perspective of Reliable Machine Learning
• Title（参考訳）: 信頼性のある機械学習における対称的損失視点
• Authors: Nontawat Charoenphakdee, Jongyeong Lee, Masashi Sugiyama
• Abstract要約: 平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。 我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
• 参考スコア（独自算出の注目度）: 87.68601212686086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When minimizing the empirical risk in binary classification, it is a common practice to replace the zero-one loss with a surrogate loss to make the learning objective feasible to optimize. Examples of well-known surrogate losses for binary classification include the logistic loss, hinge loss, and sigmoid loss. It is known that the choice of a surrogate loss can highly influence the performance of the trained classifier and therefore it should be carefully chosen. Recently, surrogate losses that satisfy a certain symmetric condition (aka., symmetric losses) have demonstrated their usefulness in learning from corrupted labels. In this article, we provide an overview of symmetric losses and their applications. First, we review how a symmetric loss can yield robust classification from corrupted labels in balanced error rate (BER) minimization and area under the receiver operating characteristic curve (AUC) maximization. Then, we demonstrate how the robust AUC maximization method can benefit natural language processing in the problem where we want to learn only from relevant keywords and unlabeled documents. Finally, we conclude this article by discussing future directions, including potential applications of symmetric losses for reliable machine learning and the design of non-symmetric losses that can benefit from the symmetric condition.
• Abstract（参考訳）: 二分分類における経験的リスクを最小化する場合、ゼロワン損失を代理損失に置き換え、学習目標を最適化可能にするのが一般的である。 二元分類におけるよく知られた代理損失の例としては、ロジスティック損失、ヒンジ損失、およびsgmoid損失がある。 代理損失の選択は、訓練された分類器の性能に大きな影響を与えることが知られており、慎重に選択すべきである。 近年,ある種の対称的条件(例えば対称的損失)を満たす代理的損失は,劣化ラベルから学習に有用であることが示されている。 本稿では,対称損失とその応用について概観する。 まず, 平衡誤差率 (BER) の最小化と受信動作特性曲線 (AUC) の最大化の下での領域において, 破損したラベルから対称損失が頑健に分類できることを示す。 そこで本研究では,関連キーワードや未ラベル文書からのみ学習したいという問題に対して,AUCの頑健な最大化手法が自然言語処理にどのように役立つかを実証する。 最後に、信頼度の高い機械学習における対称損失の潜在的な応用や、対称条件の恩恵を受ける非対称損失の設計など、今後の方向性について論じる。

関連論文リスト

• EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification [1.3778851745408134]
  経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。 まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。 理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-09-02T02:40:42Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching [26.994954303270575]
  スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。 従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。 最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
  論文  参考訳（メタデータ） (2023-06-13T17:55:39Z)
• Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
  我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。 設計上、Los OIは直感的かつ直感的に全滅を意味する。 一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
  論文  参考訳（メタデータ） (2022-10-16T22:25:27Z)
• Constrained Classification and Policy Learning [0.0]
  制約付き分類器の集合における代理損失手順の整合性について検討する。 ヒンジ損失が第2のベストシナリオにおける一貫性を維持する唯一のサロゲート損失であることを示す。
  論文  参考訳（メタデータ） (2021-06-24T10:43:00Z)
• Leveraged Weighted Loss for Partial Label Learning [64.85763991485652]
  部分ラベル学習は、各インスタンスに候補ラベルのセットが割り当てられるデータを扱うが、そのうちの1つだけが真実である。 部分ラベルからの学習に関する多くの方法論の研究にもかかわらず、リスク一貫した性質に関する理論的理解はいまだに欠けている。 本稿では,テキスト重み付き損失(LW)と呼ばれる損失関数のファミリーを提案する。これはまず,部分ラベル上の損失と非部分的な損失とのトレードオフを検討するために,レバレッジパラメータ$beta$を導入する。
  論文  参考訳（メタデータ） (2021-06-10T13:25:13Z)
• Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
  そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。 ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-06-06T12:52:48Z)
• Lower-bounded proper losses for weakly supervised classification [73.974163801142]
  本稿では,弱いラベルが与えられた分類の弱い教師付き学習の問題について議論する。 サベージ表現を双対化する教師付き学習における適切な損失を表す表現定理を導出する。 提案手法の有効性を,不適切な損失や非有界損失と比較して実験的に実証した。
  論文  参考訳（メタデータ） (2021-03-04T08:47:07Z)
• Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
  線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。 また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-28T02:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。