論文の概要: GRAPE: Guided Parameter-Space Evolution for Compact Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2606.14865v1
• Date: Fri, 12 Jun 2026 18:07:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.347435
• Title: GRAPE: Guided Parameter-Space Evolution for Compact Adversarial Robustness
• Title（参考訳）: GRAPE: コンパクトな対向ロバストネスのためのパラメータ空間のガイド
• Authors: Zhiyuan Ye, Xiangyu Zhou, Ji Qi, Hao Zhang, Yi Zhou,
• Abstract要約: Adrial Training (AT)は、ニューラルネットワークの堅牢性を改善するが、ほとんどのメソッドは、最初から固定パラメータ空間をトレーニングする。 本稿では,最終アーキテクチャや計算予算が制御された場合でも,パラメータが最適化可能な順序が最終ロバストな解に影響を及ぼすかどうかを問う。 本稿では,GRAPE, Guided versa-Space Evolutionを提案する。
• 参考スコア（独自算出の注目度）: 9.559442468378803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial Training (AT) improves neural network robustness, but most methods train a fixed parameter space from the start. This paper asks whether the order in which parameters become optimizable can affect the final robust solution, even when the final architecture or computation budget is controlled. We propose GRAPE, Guided Parameter-Space Evolution, a training framework for compact adversarial robustness. GRAPE combines parameter-space stabilization with progressive hidden expansion: it stabilizes robust optimization in the currently exposed space, gradually releases new optimizable dimensions, and uses an adversarial spectral utilization score to guide newly released capacity toward high-pressure modules. In contrast to fixed-structure AT, GRAPE treats robust model learning as a process of progressive parameter-space exposure and evolution. Under the standard $\ell_\infty$ threat model on CIFAR-10, with fixed-structure ResNet-18 AT as a controlled reference, GRAPE improves PGD-20 robust accuracy from 51.70% to 56.94% at a nearly matched computation budget with a FLOPs ratio of 1.009x, while reducing parameter count by about 21.4%. A sequential grow variant with the same final ResNet-18 architecture reaches 56.52% PGD-20 robust accuracy, indicating that the gain is not only due to final architecture differences but also to the parameter-space exposure path. These results suggest that guided parameter-space evolution can yield compact and robust parameter configurations under matched computation.
• Abstract（参考訳）: 敵対的トレーニング(AT)は、ニューラルネットワークの堅牢性を改善するが、ほとんどのメソッドは、最初から固定パラメータ空間をトレーニングする。 本稿では,最終アーキテクチャや計算予算が制御された場合でも,パラメータが最適化可能な順序が最終ロバストな解に影響を及ぼすかどうかを問う。 本稿では,GRAPE, Guided Parameter-Space Evolutionを提案する。 GRAPEはパラメータ空間の安定化とプログレッシブな隠れ拡張を組み合わせ、現在の空間で堅牢な最適化を安定化し、新たな最適化可能な次元を徐々にリリースし、逆スペクトル利用スコアを使用して、新たにリリースされた容量を高圧モジュールへ誘導する。 固定構造ATとは対照的に、GRAPEはプログレッシブパラメータ空間の露出と進化の過程として頑健なモデル学習を扱う。 CIFAR-10 の標準 $\ell_\infty$ 脅威モデルでは、固定構造 ResNet-18 AT が制御基準となり、GRAPE は PGD-20 の精度を 51.70% から 56.94% に改善した。 同じ最後のResNet-18アーキテクチャを持つ連続的な成長変種が56.52%のPGD-20の精度に達すると、最終的なアーキテクチャの違いだけでなく、パラメータ空間の露光経路にも原因があることを示している。 これらの結果から, パラメータ空間のガイドにより, 一致した計算条件下でのコンパクトかつロバストなパラメータ構成が得られることが示唆された。

関連論文リスト

• Curvature Tuning: Provable Training-free Model Steering From a Single Parameter [12.502753783538113]
  曲率チューニング(英: Curvature Tuning)は、モデルの決定境界を変調する解釈可能かつ原則化されたステアリング法である。 我々は,CTがモデル決定境界曲率を順応的に調整し,スムーズな関数空間にモデルを投影することを示す。
  論文  参考訳（メタデータ） (2025-02-11T18:59:57Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Maintaining Structural Integrity in Parameter Spaces for Parameter Efficient Fine-tuning [78.39310274926535]
  さまざまな下流タスクに事前訓練された基礎モデルを適応させることは、人工知能において一般的である。 これを軽減するために、事前訓練されたモデルの重みをより資源効率の良い方法で更新するために、いくつかの微調整技術が開発されている。 本稿では,多次元パラメータ空間用に設計された一般化されたパラメータ効率の微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:04:42Z)
• A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization [19.351804144005744]
  ディープラーニングでは、条件に依存したパラメータのチューニングが一般的に行われている。 新しいGPモデルでは、新しいカーネル関数を通じて入力変数間の依存構造が説明される。 ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
  論文  参考訳（メタデータ） (2024-01-19T21:11:32Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。