論文の概要: Relational Surrogate Loss Learning

• arxiv url: http://arxiv.org/abs/2202.13197v1
• Date: Sat, 26 Feb 2022 17:32:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 14:51:59.882067
• Title: Relational Surrogate Loss Learning
• Title（参考訳）: リレーショナルサロゲート損失学習
• Authors: Tao Huang, Zekang Li, Hua Lu, Yong Shan, Shusheng Yang, Yang Feng, Fei Wang, Shan You, Chang Xu
• Abstract要約: 本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。 本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。 私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
• 参考スコア（独自算出の注目度）: 41.61184221367546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluation metrics in machine learning are often hardly taken as loss functions, as they could be non-differentiable and non-decomposable, e.g., average precision and F1 score. This paper aims to address this problem by revisiting the surrogate loss learning, where a deep neural network is employed to approximate the evaluation metrics. Instead of pursuing an exact recovery of the evaluation metric through a deep neural network, we are reminded of the purpose of the existence of these evaluation metrics, which is to distinguish whether one model is better or worse than another. In this paper, we show that directly maintaining the relation of models between surrogate losses and metrics suffices, and propose a rank correlation-based optimization method to maximize this relation and learn surrogate losses. Compared to previous works, our method is much easier to optimize and enjoys significant efficiency and performance gains. Extensive experiments show that our method achieves improvements on various tasks including image classification and neural machine translation, and even outperforms state-of-the-art methods on human pose estimation and machine reading comprehension tasks. Code is available at: https://github.com/hunto/ReLoss.
• Abstract（参考訳）: 機械学習における評価指標は、平均精度やF1スコアなど、非微分可能で非分解不能である可能性があるため、損失関数とはみなされないことが多い。 本稿では,評価指標を近似するためにディープニューラルネットワークを用いたサーロゲート損失学習を再考し,この問題に対処することを目的とする。 ディープニューラルネットワークによる評価メトリックの正確な回復を追求する代わりに、あるモデルが他のモデルよりも優れているか悪いかを区別する、これらの評価メトリックの存在の目的を思い出させる。 本稿では,サーロゲート損失とメトリックス十分の関係を直接維持し,この関係を最大化し、サーロゲート損失を学習するためのランク相関に基づく最適化手法を提案する。 従来の手法に比べて最適化が容易で,効率と性能の向上が期待できる。 本手法は画像分類やニューラルマシン翻訳など様々なタスクの改善を実現し,人間のポーズ推定や機械読解作業において最先端の手法よりも優れていた。 コードはhttps://github.com/hunto/reloss。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• AnyLoss: Transforming Classification Metrics into Loss Functions [21.34290540936501]
  評価指標は、バイナリ分類タスクにおけるモデルの性能を評価するために使用することができる。 ほとんどのメトリクスは、非微分可能形式の混乱行列から派生しており、直接最適化できる微分可能損失関数を生成することは困難である。 本稿では,任意の混乱行列に基づく計量を,最適化プロセスで利用可能な損失関数 textitAnyLoss に変換する汎用的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:14:16Z)
• Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve Generalization Performance of Deep Classification Models [0.0]
  本稿では,深層分類モデルの学習における損失関数として,Reduced Jeffries-Matusitaという距離を導入する。 その結果、新しい距離測定はトレーニングプロセスを著しく安定化させ、一般化能力を高め、精度とF1スコアの指標におけるモデルの性能を向上させることを示した。
  論文  参考訳（メタデータ） (2024-03-13T10:51:38Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• SuSana Distancia is all you need: Enforcing class separability in metric learning via two novel distance-based loss functions for few-shot image classification [0.9236074230806579]
  本稿では,少数のデータ間のクラス内距離とクラス間距離を調べることで,埋め込みベクトルの重要性を考慮に入れた2つの損失関数を提案する。 以上の結果から,miniImagenNetベンチマークの精度は,他のメトリクスベースの数ショット学習手法に比べて2%向上した。
  論文  参考訳（メタデータ） (2023-05-15T23:12:09Z)
• Recall@k Surrogate Loss with Large Batches and Similarity Mixup [62.67458021725227]
  微分不可能な場合、評価計量の勾配降下による直接最適化は不可能である。 本研究は,リコールにおける相異なるサロゲート損失を提案する。 提案手法は,複数の画像検索ベンチマークにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-08-25T11:09:11Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• MetricOpt: Learning to Optimize Black-Box Evaluation Metrics [21.608384691401238]
  誤分類率やリコールなどのタスク評価指標を任意に最適化する問題について検討する。 MetricOptと呼ばれる私たちの方法は、ターゲットメトリックの計算詳細が不明なブラックボックス設定で動作します。 我々は、コンパクトなタスク固有のモデルパラメータを計量観測にマップする微分可能値関数を学習することでこれを達成する。
  論文  参考訳（メタデータ） (2021-04-21T16:50:01Z)
• A Unified Framework of Surrogate Loss by Refactoring and Interpolation [65.60014616444623]
  勾配勾配を有する深層ネットワークのトレーニングにおいて,サロゲート損失を発生させる統一フレームワークUniLossを導入する。 3つのタスクと4つのデータセットに対するUniLossの有効性を検証する。
  論文  参考訳（メタデータ） (2020-07-27T21:16:51Z)
• On the Outsized Importance of Learning Rates in Local Update Methods [2.094022863940315]
  我々は,多くのフェデレーション学習とメタ学習アルゴリズムを一般化する,局所的な更新手法と呼ばれるアルゴリズム群について検討する。 2次目的に対して、局所更新法は、正に特徴付けられる代理損失関数の勾配降下を実行することを証明した。 クライアント学習率の選択は、サロゲート損失の条件数と、サロゲート最小化関数と真の損失関数との距離を制御していることを示す。
  論文  参考訳（メタデータ） (2020-07-02T04:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。