論文の概要: Adversarial Training Without Input Gradients via Low-Rank Householder Expansions
- arxiv url: http://arxiv.org/abs/2608.26963v1
- Date: Thu, 27 Aug 2026 11:01:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.366529
- Title: Adversarial Training Without Input Gradients via Low-Rank Householder Expansions
- Title（参考訳）: 低層住宅拡張による入力勾配のない対人訓練
- Abstract要約: 小さなノルムの敵対的な例は、訓練された深層ニューラルネットワークの固有の入力不安定性から生じる。
まず、トレーニングされたネットワークパラメータから直接、そのような例を計算できることを示す。
次に,本構築に基づく単純な対角訓練手法を提案する。
- 参考スコア（独自算出の注目度）: 1.0435741631709403
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work concerns adversarial training against the small-norm adversarial examples that arise from the inherent input instability of a trained deep neural network. Examples in this class are small as measured in the relative $\ell^2$-norm, and therefore lie in the neighborhood of the input on which the model acts approximately linearly, the regime in which the perturbation remains imperceptible. We first show that such examples can be computed directly from the trained network parameters, without input gradient iterations, by means of a linearization called the low-rank Householder expansion (LRHE). The expansion describes the composed affine map rather than any individual layer, and the directions it identifies are read from the activation pattern already available in the forward pass. We then propose a simple adversarial training scheme built on this construction. No differentiation with respect to the input is performed at any point: training requires only additional forward evaluations, with weight parameters updated by the standard backward pass, and the inner maximization of the usual min-max formulation is eliminated entirely. That such a regularizer exists is our main finding: the methods that dispense with the inner search all obtain their local geometry by differentiating with respect to the input, and we show this is not necessary. The regularizer costs the equivalent of $2.8$ PGD steps per epoch, an $8.7\times$ reduction relative to 40-step adversarial training on MNIST and below the cost of 3-step training. The resulting models match three-step PGD adversarial training for relative $\ell^2$ budgets $\varepsilon \le 0.02$ and 40-step training for $\varepsilon \le 0.012$, falling away beyond, consistent with the locality of the expansion.
- Abstract（参考訳）: この研究は、訓練された深層ニューラルネットワークの固有の入力不安定性から生じる小さなノルムの敵の例に対する敵のトレーニングに関するものである。
このクラスの例は、相対的な$\ell^2$-normで測定されるように小さく、従ってモデルがほぼ線形に作用する入力の近傍にある。
まず,低階住宅拡張(LRHE)と呼ばれる線形化を用いて,入力勾配の繰り返しを伴わずに,トレーニング済みネットワークパラメータから直接,そのような例を計算可能であることを示す。
この拡張では、個々のレイヤではなく、合成アフィンマップが記述され、それが識別する方向は、フォワードパスで既に利用可能なアクティベーションパターンから読み取られる。
次に,本構築に基づく単純な対角訓練手法を提案する。
トレーニングでは、標準の後方パスによって重みパラメータが更新され、通常の min-max の内積の最大化が完全に排除される。
このような正規化器が存在することは我々の主な発見であり、内部探索を不要にする手法は、入力に対して微分することで局所的幾何を得ることができ、これは不要であることを示す。
レギュラーライザはエポックあたり2.8ドルのPGDステップ、MNISTの40ステップの対向訓練と3ステップのトレーニングのコストより低い8.7\times$ダウンである。
得られたモデルは、相対的な$\ell^2$予算のための3ステップのPGD逆行訓練と、$\varepsilon \le 0.02$および40ステップの$\varepsilon \le 0.012$のトレーニングと一致し、拡張の局所性と一致する。
関連論文リスト
- Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。
我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。
この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
論文 参考訳（メタデータ） (2026-08-01T13:49:46Z) - Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。
このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。
我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
論文 参考訳（メタデータ） (2026-05-22T10:24:57Z) - Operator Learning Using Weak Supervision from Walk-on-Spheres [81.26322147849918]
トレーニング型PDEソルバは、高価なデータ生成や不安定な物理インフォームドニューラルネットワーク(PINN)によってボトルネックされることが多い
モンテカルロ法を用いてPDEの解をトレーニング中の弱監督過程として推定する手法を提案する。
論文 参考訳（メタデータ） (2026-03-01T17:23:39Z) - Shallow Neural Networks Learn Low-Degree Spherical Polynomials with Learnable Channel Attention [11.227859599698588]
チャネルアテンションを持つ過パラメトリック化された2層ニューラルネットワーク(NN)を訓練する。
私たちの主な成果は、このような低次学習のためのサンプルの複雑さが大幅に改善されたことです。
論文 参考訳（メタデータ） (2025-12-23T18:05:55Z) - Linear regression with overparameterized linear neural networks: Tight upper and lower bounds for implicit $\ell^1$-regularization [3.4540258577108776]
過パラメータ線形回帰問題に対する深度Dge 2$の対角線形ニューラルネットワークの暗黙正則化について検討した。
D ge 3$ の場合、誤差は$alpha$ で線形的に減少するが、$D=2$ の場合、$alpha1-varrho$ で減少する。
数値実験は、我々の理論的な発見を裏付け、より深いネットワーク、すなわち$D ge 3$がより良い一般化をもたらすことを示唆している。
論文 参考訳（メタデータ） (2025-06-01T19:55:31Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:03:50Z) - Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a
Decoupled Decoder [0.553073476964056]
VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。
本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。
本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
論文 参考訳（メタデータ） (2022-09-29T13:49:57Z) - Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
ディープラーニングには膨大な計算とエネルギーのコストが伴う。
探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。
我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
論文 参考訳（メタデータ） (2022-08-09T02:29:42Z) - Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。
以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文 参考訳（メタデータ） (2020-10-22T00:32:12Z) - Over-parameterized Adversarial Training: An Analysis Overcoming the
Curse of Dimensionality [74.0084803220897]
逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。
自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
論文 参考訳（メタデータ） (2020-02-16T20:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。