論文の概要: Tightening the Approximation Error of Adversarial Risk with Auto Loss Function Search

• arxiv url: http://arxiv.org/abs/2111.05063v1
• Date: Tue, 9 Nov 2021 11:47:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 14:43:49.144566
• Title: Tightening the Approximation Error of Adversarial Risk with Auto Loss Function Search
• Title（参考訳）: 自動損失関数探索による敵対的リスクの近似誤差の調整
• Authors: Pengfei Xia, Ziqiang Li, and Bin Li
• Abstract要約: 一般的な評価手法は、モデルの逆方向リスクをロバスト性指標として近似することである。 本稿では,エラーを厳格化するための損失関数を探索する最初の手法であるAutoLoss-ARを提案する。 その結果,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 12.263913626161155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous studies have demonstrated that deep neural networks are easily misled by adversarial examples. Effectively evaluating the adversarial robustness of a model is important for its deployment in practical applications. Currently, a common type of evaluation is to approximate the adversarial risk of a model as a robustness indicator by constructing malicious instances and executing attacks. Unfortunately, there is an error (gap) between the approximate value and the true value. Previous studies manually design attack methods to achieve a smaller error, which is inefficient and may miss a better solution. In this paper, we establish the tightening of the approximation error as an optimization problem and try to solve it with an algorithm. More specifically, we first analyze that replacing the non-convex and discontinuous 0-1 loss with a surrogate loss, a necessary compromise in calculating the approximation, is one of the main reasons for the error. Then we propose AutoLoss-AR, the first method for searching loss functions for tightening the approximation error of adversarial risk. Extensive experiments are conducted in multiple settings. The results demonstrate the effectiveness of the proposed method: the best-discovered loss functions outperform the handcrafted baseline by 0.9%-2.9% and 0.7%-2.0% on MNIST and CIFAR-10, respectively. Besides, we also verify that the searched losses can be transferred to other settings and explore why they are better than the baseline by visualizing the local loss landscape.
• Abstract（参考訳）: 多くの研究が、ディープニューラルネットワークは敵の例によって容易に誤解されることを示した。 モデルの対向的堅牢性を効果的に評価することは、実用アプリケーションへの展開において重要である。 現在、悪意のあるインスタンスを構築して攻撃を実行することで、ロバストネス指標としてモデルの敵対リスクを近似することが一般的な評価方法である。 残念ながら、近似値と真の値の間にエラー(gap)がある。 以前の研究では、より小さなエラーを達成するために手動で攻撃方法を設計していた。 本稿では,最適化問題として近似誤差の厳密化を確立し,アルゴリズムを用いて解こうとする。 より具体的には、非凸および不連続の0-1損失をサーロゲート損失に置き換えるには、近似を計算する上で必要な妥協が必要であることを最初に分析する。 そこで本研究では,損失関数を探索する最初の手法であるAutoLoss-ARを提案する。 複数の環境で大規模な実験が行われる。 最良損失関数は, mnist および cifar-10 においてそれぞれ 0.9%-2.9% および 0.7%-2.0% の精度で手作りベースラインを上回った。 さらに,検索した損失が他の設定に移動可能であることを確認するとともに,局所的な損失景観を可視化することで,ベースラインよりも良い理由を探索する。

関連論文リスト

• A Huber loss-based super learner with applications to healthcare expenditures [0.0]
  本稿では,2乗誤差損失と絶対損失とを結合した「ロバスト」損失関数であるHuber損失に基づく超学習者を提案する。 提案手法は,ハマーリスクの最適化だけでなく,有限サンプル設定でも直接利用できることを示す。
  論文  参考訳（メタデータ） (2022-05-13T19:57:50Z)
• Relational Surrogate Loss Learning [41.61184221367546]
  本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。 本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。 私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
  論文  参考訳（メタデータ） (2022-02-26T17:32:57Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Error Controlled Actor-Critic [7.936003142729818]
  値関数の誤差は必然的に過大評価現象を引き起こし、アルゴリズムの収束に悪影響を及ぼす。 本稿では,値関数の近似誤差を補正する誤り制御アクタ批判を提案する。
  論文  参考訳（メタデータ） (2021-09-06T14:51:20Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Mean-Shifted Contrastive Loss for Anomaly Detection [34.97652735163338]
  そこで本研究では,集中損失法とコントラスト損失法の両方の障害モードを克服できる新たな損失関数を提案する。 私たちの改善は、$textitMean-Shifted Contrastive Loss$に基づいて、新しい異常検出アプローチをもたらします。 提案手法は,ROC-AUC$9.5%を含む複数のベンチマークにおいて,最先端の異常検出性能を実現する。
  論文  参考訳（メタデータ） (2021-06-07T17:58:03Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• Second-Moment Loss: A Novel Regression Objective for Improved Uncertainties [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2020-12-23T14:17:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。