論文の概要: Lower Bounds on Cross-Entropy Loss in the Presence of Test-time Adversaries

• arxiv url: http://arxiv.org/abs/2104.08382v1
• Date: Fri, 16 Apr 2021 21:41:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:24:14.345253
• Title: Lower Bounds on Cross-Entropy Loss in the Presence of Test-time Adversaries
• Title（参考訳）: テスト時敵の存在下でのクロスエントロピー損失に対する下限
• Authors: Arjun Nitin Bhagoji, Daniel Cullina, Vikash Sehwag, Prateek Mittal
• Abstract要約: 本論文では,テストタイムの逆数の存在下でのクロスエントロピー損失の最適下限と,それに対応する最適分類出力を決定する。 また、この下界を効率的に計算するベスポークアルゴリズムの正しさの証明を提案し、提案する。 我々は,現在のロバストなトレーニング手法の有効性を判定するための診断ツールとして下限を用い,より大きな予算での最適性とのギャップを見出した。
• 参考スコア（独自算出の注目度）: 33.53470955144013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the fundamental limits of robust supervised learning has emerged as a problem of immense interest, from both practical and theoretical standpoints. In particular, it is critical to determine classifier-agnostic bounds on the training loss to establish when learning is possible. In this paper, we determine optimal lower bounds on the cross-entropy loss in the presence of test-time adversaries, along with the corresponding optimal classification outputs. Our formulation of the bound as a solution to an optimization problem is general enough to encompass any loss function depending on soft classifier outputs. We also propose and provide a proof of correctness for a bespoke algorithm to compute this lower bound efficiently, allowing us to determine lower bounds for multiple practical datasets of interest. We use our lower bounds as a diagnostic tool to determine the effectiveness of current robust training methods and find a gap from optimality at larger budgets. Finally, we investigate the possibility of using of optimal classification outputs as soft labels to empirically improve robust training.
• Abstract（参考訳）: 堅牢な教師付き学習の基本的な限界を理解することは、実践的・理論的両面から、大きな関心の的となっている。 特に,学習可能時の学習損失に対する分類器非依存境界を決定することが重要である。 本稿では,テスト時逆数の存在下でのクロスエントロピー損失の最適下限を,対応する最適分類出力とともに決定する。 最適化問題の解としてのバウンドの定式化は、ソフト分類器の出力に依存する損失関数を包含できるほど一般的である。 また,この下限を効率的に計算するアルゴリズムの提案と妥当性の証明を行い,複数の実用的データセットに対する下限の判定を可能にした。 我々は,現在のロバストなトレーニング手法の有効性を判定するための診断ツールとして下限を用い,より大きな予算での最適性とのギャップを見出した。 最後に,ロバストトレーニングを実証的に改善するために,最適な分類出力をソフトラベルとして用いる可能性を検討する。

関連論文リスト

• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Characterizing the Optimal 0-1 Loss for Multi-class Classification with a Test-time Attacker [57.49330031751386]
  我々は,任意の離散データセット上の複数クラス分類器に対するテスト時間攻撃の存在下での損失に対する情報理論的下位境界を求める。 本稿では,データと敵対的制約から競合ハイパーグラフを構築する際に発生する最適0-1損失を求めるための一般的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-02-21T15:17:13Z)
• A Learning-Based Optimal Uncertainty Quantification Method and Its Application to Ballistic Impact Problems [1.713291434132985]
  本稿では、入力(または事前)測度が部分的に不完全であるシステムに対する最適(最大および無限)不確実性境界について述べる。 本研究では,不確実性最適化問題に対する学習基盤の枠組みを実証する。 本手法は,工学的実践における性能証明と安全性のためのマップ構築に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-28T14:30:53Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• Support Vector Machines with the Hard-Margin Loss: Optimal Training via Combinatorial Benders' Cuts [8.281391209717105]
  我々は、グローバルな最適性のために、ハードマージンのSVMモデルをトレーニングする方法を示す。 本稿では,この問題を解くための反復サンプリングと部分分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-15T18:21:51Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Data-Driven Robust Optimization using Unsupervised Deep Learning [0.0]
  逆問題に対して凸混合整数プログラムとして定式化することにより、トレーニングされたニューラルネットワークをロバストな最適化モデルに統合できることを示す。 このアプローチは、カーネルベースのサポートベクターセットを用いて、同様のアプローチより優れていることが判明した。
  論文  参考訳（メタデータ） (2020-11-19T11:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。