論文の概要: Generalist: Decoupling Natural and Robust Generalization

• arxiv url: http://arxiv.org/abs/2303.13813v1
• Date: Fri, 24 Mar 2023 05:24:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 15:36:13.071947
• Title: Generalist: Decoupling Natural and Robust Generalization
• Title（参考訳）: Generalist:自然とロバストな一般化の分離
• Authors: Hongjun Wang, Yisen Wang
• Abstract要約: 本稿では,emph Generalistという2つの専門的なフレームワークを提案し,同時にタスク認識戦略を用いて基礎学習者を訓練する。 ジェネラリストは自然例に対して高い精度を達成し、敵例に対してかなりの堅牢性を維持している。
• 参考スコア（独自算出の注目度）: 14.244311026737666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks obtained by standard training have been constantly plagued by adversarial examples. Although adversarial training demonstrates its capability to defend against adversarial examples, unfortunately, it leads to an inevitable drop in the natural generalization. To address the issue, we decouple the natural generalization and the robust generalization from joint training and formulate different training strategies for each one. Specifically, instead of minimizing a global loss on the expectation over these two generalization errors, we propose a bi-expert framework called \emph{Generalist} where we simultaneously train base learners with task-aware strategies so that they can specialize in their own fields. The parameters of base learners are collected and combined to form a global learner at intervals during the training process. The global learner is then distributed to the base learners as initialized parameters for continued training. Theoretically, we prove that the risks of Generalist will get lower once the base learners are well trained. Extensive experiments verify the applicability of Generalist to achieve high accuracy on natural examples while maintaining considerable robustness to adversarial ones. Code is available at https://github.com/PKU-ML/Generalist.
• Abstract（参考訳）: 標準訓練によって得られた深層ニューラルネットワークは、常に敵の例に苦しめられている。 敵の訓練は敵の例から防御する能力を示すが、残念ながら自然の一般化は必然的に減少する。 この問題に対処するため,共同トレーニングから自然の一般化と堅牢な一般化を分離し,それぞれ異なるトレーニング戦略を定式化する。 具体的には,これらの2つの一般化誤差に対する期待値の国際的損失を最小化する代わりに,基本学習者をタスク認識戦略で同時に訓練し,それぞれの分野に特化できるようにする,「emph{Generalist}」というバイエキスパートフレームワークを提案する。 ベース学習者のパラメータを収集して結合し、トレーニングプロセス中の間隔でグローバル学習者を形成する。 グローバル学習者は、継続トレーニングの初期化パラメータとして、ベース学習者に配布される。 理論的には、基礎学習者が十分に訓練された後、ジェネラリストのリスクが低下することを証明する。 広範囲な実験により、自然例に対して高い精度を達成し、敵例に対するかなりの堅牢性を維持しながら、ジェネラリストの適用性を検証する。 コードはhttps://github.com/PKU-ML/Generalist.comで入手できる。

関連論文リスト

• Zero-Shot Generalization during Instruction Tuning: Insights from Similarity and Granularity [84.12126298229866]
  命令チューニング中のゼロショット一般化は非常に早い時期に行われることを示す。 また、「タスク」の制約を伴わずに、命令チューニング中に非常によく似た、きめ細かなトレーニングデータに遭遇することで、より一般化できることを示す。 インストラクションチューニング中のゼロショット一般化は、インスタンスレベルでのトレーニングとテストデータ間の類似性に基づく一般化の形式であることを示す。
  論文  参考訳（メタデータ） (2024-06-17T16:40:21Z)
• Improving Policy Optimization with Generalist-Specialist Learning [23.480173193633252]
  目に見えない環境の変化に対する深い強化学習の一般化は、通常、多種多様な訓練のバリエーションに対する政策学習を必要とする。 本稿では,新しいジェネラリスト-スペシャリスト・トレーニング・フレームワークを提案する。 具体的には、まず、すべての環境の変化についてジェネラリストを訓練し、改善に失敗すると、ジェネラリストからクローンされた重量を持つ多くのスペシャリストを起動する。 このフレームワークは、Procgen、Meta-World、ManiSkillなど、いくつかの挑戦的で人気のあるベンチマークにポリシー学習の封筒を押し付けている。
  論文  参考訳（メタデータ） (2022-06-26T22:06:40Z)
• Formulating Robustness Against Unforeseen Attacks [34.302333899025044]
  本稿では,訓練中の防衛が想定する脅威モデルにミスマッチが存在するシナリオに焦点を当てる。 学習者が特定の"ソース"脅威モデルに対してトレーニングした場合、テスト期間中に、より強力な未知の"ターゲット"脅威モデルにロバスト性が一般化できることをいつ期待できるか? 本稿では,AT-VRを用いた対戦型トレーニングを提案し,トレーニング中の特徴抽出器の変動を低減させる。
  論文  参考訳（メタデータ） (2022-04-28T21:03:36Z)
• Understanding Robust Generalization in Learning Regular Languages [85.95124524975202]
  我々は、リカレントニューラルネットワークを用いて正規言語を学習する文脈における堅牢な一般化について研究する。 この問題に対処するための構成戦略を提案する。 構成戦略がエンド・ツー・エンド戦略よりもはるかに優れていることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-02-20T02:50:09Z)
• When Is Generalizable Reinforcement Learning Tractable? [74.87383727210705]
  複数の環境に一般化可能なRLエージェントの訓練に必要なクエリ複雑性について検討する。 異なる環境の相対的近接性を正確に特徴付ける構造条件である強近接を導入する。 この条件の自然な弱化の下では、rlは水平方向に指数関数的であるクエリの複雑さを必要とする。
  論文  参考訳（メタデータ） (2021-01-01T19:08:24Z)
• Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
  本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。 我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。 我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
  論文  参考訳（メタデータ） (2020-12-25T13:35:02Z)
• Adversarial Training for Large Neural Language Models [107.84290922621163]
  対戦型事前学習は、一般化と堅牢性の両方を改善することができることを示す。 ALUMは、対向損失を最大化する埋め込み空間に摂動を適用することで、トレーニング目標を正規化する。 ALUMはさらにタスク固有の微調整と組み合わせて追加のゲインを得ることもできる。
  論文  参考訳（メタデータ） (2020-04-20T00:07:18Z)
• Attacks Which Do Not Kill Training Make Adversarial Learning Stronger [85.96849265039619]
  ミニマックス定式化に基づく敵対的訓練は、訓練されたモデルの敵対的堅牢性を得るのに必要である。 敵のトレーニングは、現在のモデルを更新するために、確実な敵のデータを取り入れることである、と我々は主張する。
  論文  参考訳（メタデータ） (2020-02-26T01:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。