論文の概要: AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail Problems

• arxiv url: http://arxiv.org/abs/2206.12169v1
• Date: Fri, 24 Jun 2022 09:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 22:09:30.224192
• Title: AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail Problems
• Title（参考訳）: AdAUC:長期問題に対するエンドツーエンドのAUC最適化
• Authors: Wenzheng Hou, Qianqian Xu, Zhiyong Yang, Shilong Bao, Yuan He, Qingming Huang
• Abstract要約: 我々は、AUCを最適化するための敵の訓練方法を探求するための早期トライアルを提示する。 我々は、AUC最適化問題をサドル点問題として再構成し、目的がインスタンスワイズ関数となる。 我々の分析は, min-max問題の勾配を計算して, 逆例を生成するアルゴリズムが求められているため, 既存の研究と異なる。
• 参考スコア（独自算出の注目度）: 102.95119281306893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is well-known that deep learning models are vulnerable to adversarial examples. Existing studies of adversarial training have made great progress against this challenge. As a typical trait, they often assume that the class distribution is overall balanced. However, long-tail datasets are ubiquitous in a wide spectrum of applications, where the amount of head class instances is larger than the tail classes. Under such a scenario, AUC is a much more reasonable metric than accuracy since it is insensitive toward class distribution. Motivated by this, we present an early trial to explore adversarial training methods to optimize AUC. The main challenge lies in that the positive and negative examples are tightly coupled in the objective function. As a direct result, one cannot generate adversarial examples without a full scan of the dataset. To address this issue, based on a concavity regularization scheme, we reformulate the AUC optimization problem as a saddle point problem, where the objective becomes an instance-wise function. This leads to an end-to-end training protocol. Furthermore, we provide a convergence guarantee of the proposed algorithm. Our analysis differs from the existing studies since the algorithm is asked to generate adversarial examples by calculating the gradient of a min-max problem. Finally, the extensive experimental results show the performance and robustness of our algorithm in three long-tail datasets.
• Abstract（参考訳）: ディープラーニングモデルは敵の例に弱いことはよく知られている。 既存の対人訓練の研究はこの課題に対して大きな進歩を遂げた。 典型的な特性として、クラス分布が全体的なバランスをとると仮定することが多い。 しかし、ロングテールデータセットは広範囲のアプリケーションにおいてユビキタスであり、ヘッドクラスのインスタンスの量はテールクラスよりも大きい。 このようなシナリオでは、AUCはクラス分布に敏感であるため、精度よりもはるかに合理的な計量である。 そこで本研究では,AUCを最適化するための対人訓練手法を早期に検討する。 主な課題は、正と負の例が目的関数に密結合していることである。 直接的な結果として、データセットの完全なスキャンなしでは、逆例を生成できない。 この問題に対処するために,コンキャビティ正則化スキームに基づき,目的がインスタンスワイズ関数となるサドルポイント問題としてauc最適化問題を再構成する。 これはエンドツーエンドのトレーニングプロトコルにつながります。 さらに,提案アルゴリズムの収束保証を提供する。 我々の分析は, min-max問題の勾配を計算して, 逆例を生成するアルゴリズムが求められているため, 既存の研究と異なる。 最後に,3つのロングテールデータセットにおけるアルゴリズムの性能とロバスト性を示す。

関連論文リスト

• Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning [49.417414031031264]
  本稿では,自己教師型学習環境におけるフェアエンコーダの学習について検討する。 すべてのデータはラベル付けされておらず、そのごく一部だけが機密属性で注釈付けされている。
  論文  参考訳（メタデータ） (2024-06-09T08:11:12Z)
• DRAUC: An Instance-wise Distributionally Robust AUC Optimization Framework [133.26230331320963]
  ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。 本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-11-06T12:15:57Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Pairwise Learning via Stagewise Training in Proximal Setting [0.0]
  非平滑凸対損失関数の収束保証と、適応的なサンプルサイズとペアワイズ学習のための重要サンプリング手法を組み合わせる。 それぞれに逆のインスタンスをサンプリングすると勾配の分散が減少し、収束が加速することを示した。
  論文  参考訳（メタデータ） (2022-08-08T11:51:01Z)
• Task-Agnostic Robust Representation Learning [31.818269301504564]
  本研究では,未ラベルデータを用いた頑健な表現学習の課題をタスクに依存しない方法で検討する。 我々は、その損失をクリーンデータとロバストネス正則化器を用いて、下流タスクにおける予測モデルの逆方向の損失に上限を導出する。 本手法は,関係するベースラインと比較して,好適な対向性能を実現する。
  論文  参考訳（メタデータ） (2022-03-15T02:05:11Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• The Devil is the Classifier: Investigating Long Tail Relation Classification with Decoupling Analysis [36.298869931803836]
  ロングテール関係分類は、ヘッドクラスがトレーニングフェーズを支配しているため、難しい問題である。 そこで本研究では,関係を自動的に集約することで,ソフトウェイトを割り当てる,注意関係ルーティング付きロバストな分類器を提案する。
  論文  参考訳（メタデータ） (2020-09-15T12:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。