論文の概要: If You Want to Be Robust, Be Wary of Initialization

• arxiv url: http://arxiv.org/abs/2510.22652v1
• Date: Sun, 26 Oct 2025 12:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.545776
• Title: If You Want to Be Robust, Be Wary of Initialization
• Title（参考訳）: ロバストになりたいなら初期化に気をつけて
• Authors: Sofiane Ennadir, Johannes F. Lutzeyer, Michalis Vazirgiannis, El Houcine Bergou,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ関連タスクのスペクトルにわたって顕著なパフォーマンスを示している。 しかし、敵の摂動に対する脆弱性については懸念が続いている。 本稿では,初期化戦略と敵の摂動に対するネットワークのレジリエンスの関連性を橋渡しする理論的枠組みを提案する。 分析の結果,初期重み,トレーニングエポック数,モデルの脆弱性の直接的な関係が明らかになった。
• 参考スコア（独自算出の注目度）: 28.195617869726636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) have demonstrated remarkable performance across a spectrum of graph-related tasks, however concerns persist regarding their vulnerability to adversarial perturbations. While prevailing defense strategies focus primarily on pre-processing techniques and adaptive message-passing schemes, this study delves into an under-explored dimension: the impact of weight initialization and associated hyper-parameters, such as training epochs, on a model's robustness. We introduce a theoretical framework bridging the connection between initialization strategies and a network's resilience to adversarial perturbations. Our analysis reveals a direct relationship between initial weights, number of training epochs and the model's vulnerability, offering new insights into adversarial robustness beyond conventional defense mechanisms. While our primary focus is on GNNs, we extend our theoretical framework, providing a general upper-bound applicable to Deep Neural Networks. Extensive experiments, spanning diverse models and real-world datasets subjected to various adversarial attacks, validate our findings. We illustrate that selecting appropriate initialization not only ensures performance on clean datasets but also enhances model robustness against adversarial perturbations, with observed gaps of up to 50\% compared to alternative initialization approaches.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ関連タスクの範囲で顕著なパフォーマンスを示しているが、敵の摂動に対する脆弱性については懸念が続いている。 一般的な防衛戦略は、主に前処理技術と適応メッセージパス方式に焦点をあてるが、本研究では、重量初期化と関連する過度パラメータ(例えば訓練エポック)の影響がモデルの頑健性に与える影響について検討する。 本稿では,初期化戦略と敵の摂動に対するネットワークのレジリエンスの関連性を橋渡しする理論的枠組みを提案する。 本分析により,初期重量,訓練エポック数,モデルの脆弱性の直接的な関係が明らかとなり,従来の防御機構を超えた敵の堅牢性に関する新たな知見が得られた。 GNNに重点を置いているが、我々は理論的な枠組みを拡張し、Deep Neural Networksに適用可能な一般的な上限を提供する。 多様なモデルと現実のデータセットにまたがる大規模な実験は、様々な敵の攻撃を受け、我々の発見を検証した。 本稿では, 適切な初期化を選択することで, クリーンデータセットの性能が保証されるだけでなく, 対向的摂動に対するモデルロバスト性も向上することを示す。

関連論文リスト

• How Learning Dynamics Drive Adversarially Robust Generalization? [3.7919737164481284]
  本研究では, モデルパラメータの後方共分散と, 対向損失景観の曲率とを明示的に関連付ける新しいPAC-Bayesianフレームワークを提案する。 分析の結果,学習速度,勾配雑音,ヘッセン構造などの重要な要因が,学習中に頑健な一般化を共同で形成することが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-10T08:34:43Z)
• GAIM: Attacking Graph Neural Networks via Adversarial Influence Maximization [12.651079126612121]
  我々は,厳密なブラックボックス設定を考慮しつつ,ノードベースで行う統合逆攻撃手法を提案する。 提案手法では,対象ノードの選択と特徴摂動の構成を単一最適化問題に統一する。 ラベル指向攻撃に対応するため,本手法を拡張し,適用範囲を広げる。
  論文  参考訳（メタデータ） (2024-08-20T15:41:20Z)
• Problem space structural adversarial attacks for Network Intrusion Detection Systems based on Graph Neural Networks [8.629862888374243]
  本稿では,ネットワーク侵入検知におけるGNNに適した敵攻撃の最初の形式化を提案する。 我々は、現実のシナリオにおいて、実行可能な構造攻撃を実行するために、攻撃者が考慮すべき問題空間の制約を概説し、モデル化する。 以上の結果から,古典的特徴に基づく攻撃に対するモデルの堅牢性の向上が示唆された。
  論文  参考訳（メタデータ） (2024-03-18T14:40:33Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Building Robust Ensembles via Margin Boosting [98.56381714748096]
  敵のロバスト性においては、単一のモデルは通常、全ての敵の攻撃に対して十分な力を持っていない。 我々は最大利得のアンサンブルを学習するアルゴリズムを開発した。 提案アルゴリズムは,既存のアンサンブル技術に勝るだけでなく,エンド・ツー・エンドで訓練された大規模モデルにも勝ることを示す。
  論文  参考訳（メタデータ） (2022-06-07T14:55:58Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Graph Backdoor [53.70971502299977]
  GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。 GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。 トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
  論文  参考訳（メタデータ） (2020-06-21T19:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。