論文の概要: Generalist++: A Meta-learning Framework for Mitigating Trade-off in Adversarial Training

• arxiv url: http://arxiv.org/abs/2510.13361v1
• Date: Wed, 15 Oct 2025 09:47:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.60773
• Title: Generalist++: A Meta-learning Framework for Mitigating Trade-off in Adversarial Training
• Title（参考訳）: Generalist++: 対人訓練におけるトレードオフを緩和するメタラーニングフレームワーク
• Authors: Yisen Wang, Yichuan Mo, Hongjun Wang, Junyi Li, Zhouchen Lin,
• Abstract要約: 対人訓練(AT)は、現在、ニューラルネットワークに対する最も効果的な防御である。 本稿では,汎用化目標を複数のサブタスクに分割し,それぞれを専用のベースラーナに割り当てる。 トレーニングの後半では、これらのパラメータを補間して、知識のあるグローバルな学習者を形成する。 このフレームワークをGeneralistと呼び、異なるアプリケーションシナリオに適した3つのバリエーションを紹介します。
• 参考スコア（独自算出の注目度）: 105.74524789405514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the rapid progress of neural networks, they remain highly vulnerable to adversarial examples, for which adversarial training (AT) is currently the most effective defense. While AT has been extensively studied, its practical applications expose two major limitations: natural accuracy tends to degrade significantly compared with standard training, and robustness does not transfer well across attacks crafted under different norm constraints. Unlike prior works that attempt to address only one issue within a single network, we propose to partition the overall generalization goal into multiple sub-tasks, each assigned to a dedicated base learner. By specializing in its designated objective, each base learner quickly becomes an expert in its field. In the later stages of training, we interpolate their parameters to form a knowledgeable global learner, while periodically redistributing the global parameters back to the base learners to prevent their optimization trajectories from drifting too far from the shared target. We term this framework Generalist and introduce three variants tailored to different application scenarios. Both theoretical analysis and extensive experiments demonstrate that Generalist achieves lower generalization error and significantly alleviates the trade-off problems compared with baseline methods. Our results suggest that Generalist provides a promising step toward developing fully robust classifiers in the future.
• Abstract（参考訳）: ニューラルネットワークの急速な進歩にもかかわらず、敵の例に対して非常に脆弱であり、敵のトレーニング(AT)が現在最も効果的な防御である。 ATは広く研究されているが、その実践的応用は2つの大きな限界を露呈している: 自然な精度は標準の訓練に比べて著しく低下する傾向にあり、ロバスト性は異なる規範の制約の下で作られた攻撃間では良好に伝達されない。 1つのネットワーク内の1つの問題にのみ対処しようとする従来の作業とは異なり、一般化目標を複数のサブタスクに分割し、それぞれ専用のベースラーナに割り当てることを提案する。 指定された目的を専門化することにより、各基礎学習者はすぐにその分野の専門家となる。 トレーニングの後半段階では,これらのパラメータを相互に解釈して知識のあるグローバル学習者を形成すると同時に,グローバルなパラメータを定期的にベース学習者に再分配し,最適化軌道が共有対象から遠すぎることを防ぐ。 このフレームワークをGeneralistと呼び、異なるアプリケーションシナリオに適した3つのバリエーションを紹介します。 理論解析と広範な実験は、ジェネリストがより低い一般化誤差を達成し、ベースライン法と比較してトレードオフ問題を著しく緩和することを示した。 我々の結果は、ジェネリストが将来完全に堅牢な分類器を開発するための有望なステップを提供することを示唆している。

関連論文リスト

• The Right Time Matters: Data Arrangement Affects Zero-Shot Generalization in Instruction Tuning [86.19804569376333]
  インストラクションチューニングにおいてゼロショットの一般化は非常に早い段階で起こることを示す。 より基礎的なトレーニングデータアレンジメントフレームワークであるテスト中心型マルチターンアレンジメントを提案する。
  論文  参考訳（メタデータ） (2024-06-17T16:40:21Z)
• Boosting Adversarial Training via Fisher-Rao Norm-based Regularization [9.975998980413301]
  本稿では,ロバスト性と精度のトレードオフを軽減するため,LOAT(Logit-Oriented Adversarial Training)と呼ばれる新たな正規化フレームワークを提案する。 実験により,提案した正規化戦略により,有意な対向学習アルゴリズムの性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-03-26T09:22:37Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• Generalist: Decoupling Natural and Robust Generalization [14.244311026737666]
  本稿では,emph Generalistという2つの専門的なフレームワークを提案し,同時にタスク認識戦略を用いて基礎学習者を訓練する。 ジェネラリストは自然例に対して高い精度を達成し、敵例に対してかなりの堅牢性を維持している。
  論文  参考訳（メタデータ） (2023-03-24T05:24:23Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• FAR: A General Framework for Attributional Robustness [42.49606659285249]
  我々は、ロバストな属性を持つモデルの帰属的ロバストネス(FAR)のための新しいフレームワークを定義する。 FARは,既存のトレーニング手法の一般化,制約の少ない定式化であることを示す。 次に、このフレームワークの2つの新しいインスタンス化であるAATとAdvAATを提案し、ロバストな属性と予測の両方を直接最適化する。
  論文  参考訳（メタデータ） (2020-10-14T20:33:00Z)
• Learning to Learn Single Domain Generalization [18.72451358284104]
  本稿では,このアウト・オブ・ディストリビューション(OOD)一般化問題を解くために,逆領域拡張という新しい手法を提案する。 鍵となる考え方は、敵の訓練を活用して「現実的」だが「混み合う」人口を作り出すことである。 高速で望ましいドメイン拡張を容易にするため、メタラーニング方式でモデルトレーニングを行い、Wasserstein Auto-Encoder (WAE) を用いて、広く使われている最悪のケース制約を緩和する。
  論文  参考訳（メタデータ） (2020-03-30T04:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。