論文の概要: Unveiling and Mitigating Adversarial Vulnerabilities in Iterative Optimizers

• arxiv url: http://arxiv.org/abs/2504.19000v1
• Date: Sat, 26 Apr 2025 19:03:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.080679
• Title: Unveiling and Mitigating Adversarial Vulnerabilities in Iterative Optimizers
• Title（参考訳）: 反復オプティマイザにおける敵対的脆弱性の発見と軽減
• Authors: Elad Sofer, Tomer Shaked, Caroline Chaux, Nir Shlezinger,
• Abstract要約: 学習しない反復的ロバスト性は、MLモデルの敵対的な例に対する感受性を共有していることを示す。 近位勾配のクラスでは,その学習が対人感度に与える影響を実証する。 本研究は,様々な感度の脆弱性と,伸展訓練および逆行訓練によって引き起こされる頑健さを,数値的に裏付けるものである。
• 参考スコア（独自算出の注目度）: 23.164320754562645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) models are often sensitive to carefully crafted yet seemingly unnoticeable perturbations. Such adversarial examples are considered to be a property of ML models, often associated with their black-box operation and sensitivity to features learned from data. This work examines the adversarial sensitivity of non-learned decision rules, and particularly of iterative optimizers. Our analysis is inspired by the recent developments in deep unfolding, which cast such optimizers as ML models. We show that non-learned iterative optimizers share the sensitivity to adversarial examples of ML models, and that attacking iterative optimizers effectively alters the optimization objective surface in a manner that modifies the minima sought. We then leverage the ability to cast iteration-limited optimizers as ML models to enhance robustness via adversarial training. For a class of proximal gradient optimizers, we rigorously prove how their learning affects adversarial sensitivity. We numerically back our findings, showing the vulnerability of various optimizers, as well as the robustness induced by unfolding and adversarial training.
• Abstract（参考訳）: 機械学習(ML)モデルは、しばしば慎重に作り上げられながら目立たない摂動に敏感である。 このような敵対的な例はMLモデルの特性と見なされ、しばしばブラックボックスの操作とデータから学んだ特徴に対する感度に関連付けられている。 本研究では,非学習決定規則,特に反復オプティマイザの対立感度について検討する。 我々の分析は、MLモデルのような最適化を取り入れたディープ・アンフォールディングの最近の発展にインスパイアされている。 学習しない反復オプティマイザは,MLモデルの逆例に対する感度を共有し,反復オプティマイザを攻撃することで,最小値を求めるように最適化対象面を効果的に変化させることを示した。 次に、反復制限オプティマイザをMLモデルとしてキャストすることで、対戦トレーニングによる堅牢性を向上する。 近似勾配オプティマイザのクラスでは、学習が対向感度に与える影響を厳格に証明する。 本研究は,様々なオプティマイザの脆弱性と,展開訓練や逆行訓練によって引き起こされる頑健さを,数値的に裏付けるものである。

関連論文リスト

• Architect Your Landscape Approach (AYLA) for Optimizations in Deep Learning [0.0]
  グラディエントDescent(DSG)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。 本稿では適応性と効率性を向上する新しい最適化手法であるAYLAを紹介する。
  論文  参考訳（メタデータ） (2025-04-02T16:31:39Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Learning to Refit for Convex Learning Problems [11.464758257681197]
  ニューラルネットワークを用いて、異なるトレーニングセットに対して最適化されたモデルパラメータを推定するフレームワークを提案する。 我々は、凸問題を近似するためにニューラルネットワークのパワーを厳格に特徴づける。
  論文  参考訳（メタデータ） (2021-11-24T15:28:50Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Affine-Invariant Robust Training [0.0]
  本研究は,空間的ロバスト性に関する研究をレビューし,入力毎に最悪のアフィン変換を求めるため,ゼロ階最適化アルゴリズムを提案する。 提案手法は,頑健なモデルを効果的に生成し,非パラメトリック逆摂動の導入を可能にする。
  論文  参考訳（メタデータ） (2020-10-08T18:59:19Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Improved Adversarial Training via Learned Optimizer [101.38877975769198]
  対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。 共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
  論文  参考訳（メタデータ） (2020-04-25T20:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。