論文の概要: Learning Robustness at Test-Time from a Non-Robust Teacher

• arxiv url: http://arxiv.org/abs/2604.11590v1
• Date: Mon, 13 Apr 2026 15:05:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.63828
• Title: Learning Robustness at Test-Time from a Non-Robust Teacher
• Title（参考訳）: 非破壊教師によるテスト時間におけるロバストネスの学習
• Authors: Stefano Bianchettin, Giulio Rossolini, Giorgio Buttazzo,
• Abstract要約: この研究は、教師なしテスト時間設定の適応スキームに統合された場合、敵のトレーニング戦略がどのように振る舞うかを研究する。 クリーンかつ対向的な目的の両方のセマンティックアンカーとして,非ロバスト教師モデルの予測を利用するラベルフリーフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.723585565253798
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Nowadays, pretrained models are increasingly used as general-purpose backbones and adapted at test-time to downstream environments where target data are scarce and unlabeled. While this paradigm has proven effective for improving clean accuracy on the target domain, adversarial robustness has received far less attention, especially when the original pretrained model is not explicitly designed to be robust. This raises a practical question: \emph{can a pretrained, non-robust model be adapted at test-time to improve adversarial robustness on a target distribution?} To face this question, this work studies how adversarial training strategies behave when integrated into adaptation schemes for the unsupervised test-time setting, where only a small set of unlabeled target samples is available. It first analyzes how classical adversarial training formulations can be extended to this scenario, showing that straightforward distillation-based adaptations remain unstable and highly sensitive to hyperparameter tuning, particularly when the teacher itself is non-robust. To address these limitations, the work proposes a label-free framework that uses the predictions of a non-robust teacher model as a semantic anchor for both the clean and adversarial objectives during adaptation. We further provide theoretical insights showing that our formulation yields a more stable alternative to the self-consistency-based regularization commonly used in classical adversarial training. Experiments evaluate the proposed approach on CIFAR-10 and ImageNet under induced photometric transformations. The results support the theoretical insights by showing that the proposed approach achieves improved optimization stability, lower sensitivity to parameter choices, and a better robustness-accuracy trade-off than existing baselines in this post-deployment test-time setting.
• Abstract（参考訳）: 今日では、トレーニング済みのモデルは汎用のバックボーンとして利用され、ターゲットデータが不足しラベル付けされていないダウンストリーム環境にテスト時に適応するようになっている。 このパラダイムは、ターゲットドメイン上でのクリーンな精度向上に有効であることが証明されているが、特に元の事前訓練モデルがロバストに設計されていない場合、敵のロバスト性がはるかに低い。 これは現実的な疑問を提起する: \emph{can a pretrained, non-robust model be adapt at test-time to improve adversarial robustness on a target distribution? この課題に対処するために,本研究は,少数の未ラベル対象サンプルのみが利用可能である教師なしテスト時間設定の適応スキームに統合された場合,敵のトレーニング戦略がどのように振る舞うかを検討する。 それはまず、古典的な逆行訓練の定式化がこのシナリオにどのように拡張できるかを分析し、単純な蒸留に基づく適応は、特に教師自身が損なわれていない場合、ハイパーパラメータチューニングに対して不安定で非常に敏感であることを示す。 これらの制約に対処するため、本研究では、適応中のクリーンな目的と敵対的な目的の両方に対するセマンティックアンカーとして、非ロバスト教師モデルの予測を使用するラベルフリーフレームワークを提案する。 さらに,我々の定式化は,古典的対人訓練でよく用いられる自己整合性に基づく正規化の代替として,より安定した代替となることを示す理論的洞察を与える。 CIFAR-10 と ImageNet の光度変換による提案手法を実験的に評価した。 提案手法は, 最適化安定性の向上, パラメータ選択に対する感度の低下, 既存ベースラインよりもロバスト性・精度のトレードオフが良好であることを示すことにより, 理論的知見を裏付けるものである。

関連論文リスト

• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Robust Feature Inference: A Test-time Defense Strategy using Spectral Projections [12.807619042576018]
  我々はロバスト特徴推論(RFI)と呼ばれる新しいテスト時間防衛戦略を提案する。 RFIは、追加のテスト時間計算なしで既存の(ロバストな)トレーニング手順と簡単に統合できる。 RFIは、適応攻撃や転送攻撃によるロバスト性を継続的に改善することを示す。
  論文  参考訳（メタデータ） (2023-07-21T16:18:58Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• Learning Domain Adaptive Object Detection with Probabilistic Teacher [93.76128726257946]
  確率的教師(PT)と呼ばれる,シンプルで効果的な枠組みを提案する。 PTは、段階的に進化する教師から未ラベルの目標データの不確実性を捉え、相互に有利な方法で生徒の学習を指導することを目的としている。 また,不確実性誘導型自己学習を促進するために,新しいエントロピー・フォカル・ロス(EFL)を提案する。
  論文  参考訳（メタデータ） (2022-06-13T16:24:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。