論文の概要: An Optimal Transport Approach for Computing Adversarial Training Lower Bounds in Multiclass Classification

• arxiv url: http://arxiv.org/abs/2401.09191v1
• Date: Wed, 17 Jan 2024 13:03:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 15:47:00.000493
• Title: An Optimal Transport Approach for Computing Adversarial Training Lower Bounds in Multiclass Classification
• Title（参考訳）: 多クラス分類における逆訓練下限計算のための最適輸送法
• Authors: Nicolas Garcia Trillos, Matt Jacobs, Jakwang Kim, Matthew Werenski
• Abstract要約: 強靭性を強制する一般的なパラダイムは、敵対的訓練(AT)であるが、これは多くの計算的および理論的困難をもたらす。 最近の研究は、ATとマルチクラス分類設定(MOT)の接続を開発し、この問題を研究するための新しいツールセットをアンロックしている。 本稿では,最適対向リスクの普遍的下界を計算するための計算処理可能な数値アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 3.447848701446988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of deep learning-based algorithms, it is widely known that neural networks may fail to be robust. A popular paradigm to enforce robustness is adversarial training (AT), however, this introduces many computational and theoretical difficulties. Recent works have developed a connection between AT in the multiclass classification setting and multimarginal optimal transport (MOT), unlocking a new set of tools to study this problem. In this paper, we leverage the MOT connection to propose computationally tractable numerical algorithms for computing universal lower bounds on the optimal adversarial risk and identifying optimal classifiers. We propose two main algorithms based on linear programming (LP) and entropic regularization (Sinkhorn). Our key insight is that one can harmlessly truncate the higher order interactions between classes, preventing the combinatorial run times typically encountered in MOT problems. We validate these results with experiments on MNIST and CIFAR-$10$, which demonstrate the tractability of our approach.
• Abstract（参考訳）: 深層学習に基づくアルゴリズムの成功にもかかわらず、ニューラルネットワークは堅牢性に欠ける可能性があることが広く知られている。 強靭性を強制する一般的なパラダイムは、敵対的訓練(AT)であるが、これは多くの計算的および理論的困難をもたらす。 最近の研究は、ATとマルチクラス分類設定(MOT)の接続を開発し、この問題を研究するための新しいツールセットをアンロックしている。 本稿では,mot接続を利用して,最適逆リスクの普遍下限を計算し,最適分類器を同定するための計算可能な数値アルゴリズムを提案する。 線形プログラミング(LP)とエントロピー正規化(シンクホーン)に基づく2つのアルゴリズムを提案する。 我々の重要な洞察は、クラス間の高次相互作用を無害に切り離すことができ、MOT問題でよく見られる組合せ実行時間を防止できるということです。 これらの結果をmnistとcifar-$10$の実験で検証し,提案手法の妥当性を実証した。

関連論文リスト

• Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
  我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。 我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。 CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-06-23T09:57:44Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• An Exact Algorithm for Semi-supervised Minimum Sum-of-Squares Clustering [0.5801044612920815]
  半教師付きMSSCのための分岐結合アルゴリズムを提案する。 背景知識はペアワイズ・マスタリンクと結びつかない制約として組み込まれている。 提案したグローバル最適化アルゴリズムは,実世界のインスタンスを最大800個のデータポイントまで効率的に解決する。
  論文  参考訳（メタデータ） (2021-11-30T17:08:53Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Self-Weighted Robust LDA for Multiclass Classification with Edge Classes [111.5515086563592]
  SWRLDAと呼ばれる,l21ノルムを基準とした新しい自己重み付き頑健なLDAを提案する。 提案するSWRLDAは実装が容易で,実際に高速に収束する。
  論文  参考訳（メタデータ） (2020-09-24T12:32:55Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Robust Deep Learning as Optimal Control: Insights and Convergence Guarantees [19.28405674700399]
  訓練中の敵の例は、敵の攻撃に対する一般的な防御メカニズムです。 min-max問題を最適制御問題として解釈することにより、ニューラルネットワークの構成構造を活用できることが示されている。 本稿では、ロバストな最適制御の手法と、最適化における不正確な手法を組み合わせて、この逆学習アルゴリズムの最初の収束解析を行う。
  論文  参考訳（メタデータ） (2020-05-01T21:26:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。