論文の概要: Adversarially Trained Linear Transformers Are Optimal Robust In-Context Learners for Gaussian Mixtures

• arxiv url: http://arxiv.org/abs/2610.07754v1
• Date: Tue, 06 Oct 2026 04:51:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.804997
• Title: Adversarially Trained Linear Transformers Are Optimal Robust In-Context Learners for Gaussian Mixtures
• Title（参考訳）: 逆学習された線形変換器はガウス混合に対する最適ロバストな文脈学習器である
• Abstract要約: 大規模に事前訓練された1つのモデルが,タスク固有の追加トレーニングを伴わずに,新たなタスクに対して最適なロバスト性を実現することができることを示す。 さらに、流れの収束、精度-ロバスト性トレードオフ、そしてデモの複雑さを分析します。
• 参考スコア（独自算出の注目度）: 5.53329677986653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training is one of the most reliable defenses against adversarial attacks, but its high computational cost must generally be paid anew for each task. Robust foundation models offer a promising alternative: adversarially pretrain a model once and then transfer its robustness to downstream tasks through lightweight adaptation. However, a fundamental question remains open: can robustness acquired during pretraining transfer to unseen tasks without further adversarial training? In this study, we answer this question affirmatively. A single model adversarially pretrained at scale can achieve optimal robustness on new tasks without additional task-specific training. Specifically, we show that, for a family of Gaussian-mixture classification tasks, a sufficiently deep linear transformer adversarially trained across tasks can asymptotically attain the robust Bayes error on previously unseen tasks through in-context learning from clean demonstrations. By contrast, a standardly trained model cannot. We further analyze convergence under gradient flow, an accuracy--robustness trade-off, and demonstration complexity.
• Abstract（参考訳）: 敵の訓練は、敵の攻撃に対する最も信頼できる防御の1つであるが、その高い計算コストは、通常、各タスクに対して新しく支払われなければならない。 ロバスト基礎モデルは、有望な代替手段を提供する: モデルを逆さまに事前訓練し、その堅牢性は、軽量な適応を通じて下流のタスクに転送する。 しかし、根本的な疑問が残る: 事前訓練中の堅牢性は、更なる敵の訓練なしに、見知らぬタスクに移行できるか? 本研究では,この疑問に肯定的に答える。 大規模に事前訓練された単一のモデルは、追加のタスク固有のトレーニングなしで、新しいタスクに対して最適な堅牢性を達成することができる。 具体的には、ガウス混合分類タスクのファミリーにおいて、タスク間で対角的に訓練された十分に深い線形変換器は、クリーンなデモンストレーションからコンテキスト内学習を通じて、以前は目に見えないタスクに対して頑健なベイズ誤差を漸近的に達成できることを示す。 対照的に、標準的に訓練されたモデルでは不可能である。 さらに、勾配流下での収束、精度-ロバスト性トレードオフ、実演複雑さを解析する。

関連論文リスト

• Robust Fine-Tuning from Non-Robust Pretrained Models: Mitigating Suboptimal Transfer With Adversarial Scheduling [16.76595008196546]
  頑健な目的を持った微調整された非ローバストモデルでは性能が低下する可能性があることを示す。 本稿では,最適な移動を促進するトレーニングで使用される摂動強度のスケジュールであるemphEpsilon-Schedulingを提案する。
  論文  参考訳（メタデータ） (2025-09-27T14:20:57Z)
• Adversarially Pretrained Transformers may be Universally Robust In-Context Learners [27.368408524000778]
  対人訓練は最も効果的な対人防御の1つだが、高い計算コストがかかる。 本研究では,多種多様なタスクに対して逆さまに事前訓練されたトランスフォーマーが,堅牢な基礎モデルとして機能することを示す。
  論文  参考訳（メタデータ） (2025-05-20T07:39:22Z)
• Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
  我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。 本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。 5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
  論文  参考訳（メタデータ） (2023-12-10T00:51:05Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• Robust Transfer Learning with Pretrained Language Models through Adapters [40.45102278979193]
  BERTのような大きな事前訓練された言語モデルによる伝達学習は、ほとんどのNLPタスクにおいて支配的なアプローチとなっている。 これらの問題を緩和するために, 単純かつ効果的なアダプタベースのアプローチを提案する。 実験により,このような学習手法が,様々な下流タスクへの伝達学習における安定性と対角的堅牢性の向上につながることが示された。
  論文  参考訳（メタデータ） (2021-08-05T02:30:13Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。