論文の概要: A Novel Plug-and-Play Approach for Adversarially Robust Generalization

• arxiv url: http://arxiv.org/abs/2208.09449v3
• Date: Sat, 23 Nov 2024 02:04:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:14:53.383820
• Title: A Novel Plug-and-Play Approach for Adversarially Robust Generalization
• Title（参考訳）: 逆ロバスト一般化のための新しいプラグイン・アンド・プレイアプローチ
• Authors: Deepak Maurya, Adarsh Barik, Jean Honorio,
• Abstract要約: 本稿では,MLモデルを摂動テストデータから保護するために,逆向きに堅牢なトレーニングを採用する頑健なフレームワークを提案する。 私たちの貢献は、計算学と統計学の両方の観点から見ることができます。
• 参考スコア（独自算出の注目度）: 38.72514422694518
• License:
• Abstract: In this work, we propose a robust framework that employs adversarially robust training to safeguard the ML models against perturbed testing data. Our contributions can be seen from both computational and statistical perspectives. Firstly, from a computational/optimization point of view, we derive the ready-to-use exact solution for several widely used loss functions with a variety of norm constraints on adversarial perturbation for various supervised and unsupervised ML problems, including regression, classification, two-layer neural networks, graphical models, and matrix completion. The solutions are either in closed-form, or an easily tractable optimization problem such as 1-D convex optimization, semidefinite programming, difference of convex programming or a sorting-based algorithm. Secondly, from statistical/generalization viewpoint, using some of these results, we derive novel bounds of the adversarial Rademacher complexity for various problems, which entails new generalization bounds. Thirdly, we perform some sanity-check experiments on real-world datasets for supervised problems such as regression and classification, as well as for unsupervised problems such as matrix completion and learning graphical models, with very little computational overhead.
• Abstract（参考訳）: 本研究では,MLモデルを摂動テストデータから保護するために,逆向きに堅牢なトレーニングを施した堅牢なフレームワークを提案する。 私たちの貢献は、計算学と統計学の両方の観点から見ることができます。 まず、計算・最適化の観点から、回帰、分類、二層ニューラルネットワーク、グラフィカルモデル、行列補完など、教師なしおよび教師なしMLの様々な問題に対する逆摂動に対する様々な規範的制約を持つ、広く使われている損失関数に対する準備可能な正確な解法を導出する。 解法はクローズド形式か、1次元凸最適化、半有限計画法、凸計画法の違い、ソート法に基づくアルゴリズムのような容易に抽出可能な最適化問題である。 第二に、統計・一般化の観点から、これらの結果のいくつかを用いて、様々な問題に対する逆ラデマッハ複雑性の新しい境界を導出し、新たな一般化境界を導出する。 第3に、回帰や分類などの教師なし問題や、行列補完やグラフィカルモデルの学習といった教師なし問題に対して、計算オーバーヘッドがほとんどない実世界のデータセットに対する健全性チェック実験を行う。

関連論文リスト

• A Guide to Stochastic Optimisation for Large-Scale Inverse Problems [4.926711494319977]
  最適化アルゴリズムは、大量のデータを持つ機械学習のデファクトスタンダードです。 我々は、逆問題の観点から、最適化における最先端の総合的な説明を提供する。 私たちは、機械学習で一般的に遭遇しない、ユニークな最適化の課題に焦点を合わせています。
  論文  参考訳（メタデータ） (2024-06-10T15:02:30Z)
• Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
  正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。 卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。 我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-25T13:56:05Z)
• A General Framework for Learning from Weak Supervision [93.89870459388185]
  本稿では、新しいアルゴリズムを用いて、弱監督(GLWS)から学習するための一般的な枠組みを紹介する。 GLWSの中心は期待最大化(EM)の定式化であり、様々な弱い監督源を順応的に収容している。 また,EM計算要求を大幅に単純化する高度なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-02T21:48:50Z)
• Optimization and Optimizers for Adversarial Robustness [10.279287131070157]
  本稿では,汎用的制約最適化解法と制約Foldingを融合した新しいフレームワークを提案する。 信頼性に関して、PWCFは、ソリューションの品質を評価するための定常度測定と実現可能性テストのソリューションを提供する。 さらに、損失、摂動モデル、最適化アルゴリズムの様々な組み合わせを用いて、これらの問題を解決するための解の異なるパターンについて検討する。
  論文  参考訳（メタデータ） (2023-03-23T16:22:59Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Ideal formulations for constrained convex optimization problems with indicator variables [2.578242050187029]
  本研究では,指標変数と指標に対する制約を用いた凸最適化問題のクラスを凸化することを検討した。 スパース回帰問題の凸化に関する従来の研究とは異なり、非線形非分離対象、指標変数、制約を同時に検討する。 階層性,多行性,空間性制約といった問題に対する理想的な凸化を導出する。
  論文  参考訳（メタデータ） (2020-06-30T21:07:10Z)
• Joint learning of variational representations and solvers for inverse problems with partially-observed data [13.984814587222811]
  本稿では,教師付き環境において,逆問題に対する実際の変分フレームワークを学習するためのエンドツーエンドフレームワークを設計する。 変動コストと勾配に基づく解法はどちらも、後者の自動微分を用いたニューラルネットワークとして記述される。 これにより、データ駆動による変分モデルの発見につながる。
  論文  参考訳（メタデータ） (2020-06-05T19:53:34Z)
• Robust-Adaptive Control of Linear Systems: beyond Quadratic Costs [14.309243378538012]
  線形システムのロバストかつ適応的なモデル予測制御(MPC)の問題を考える。 この設定に対して、最初のエンドツーエンドのサブ最適トラクティリティ解析を提供する。
  論文  参考訳（メタデータ） (2020-02-25T12:24:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。