論文の概要: Revisiting Mixout: An Overlooked Path to Robust Finetuning

• arxiv url: http://arxiv.org/abs/2510.06982v1
• Date: Wed, 08 Oct 2025 13:07:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.503887
• Title: Revisiting Mixout: An Overlooked Path to Robust Finetuning
• Title（参考訳）: ミックスアウトを再考:ロバストなファインタニングへの見落とされがちな道
• Authors: Masih Aminbeidokhti, Heitor Rapela Medeiros, Eric Granger, Marco Pedersoli,
• Abstract要約: Mixoutは、間欠的に微調整された重量を事前訓練された基準で置き換える正規化器である。 GMixoutは、固定アンカーをトレーニング中に適応する指数的な移動平均スナップショットに置き換える。 GMixoutはゼロショット性能以上のドメイン内精度を一貫して改善する。
• 参考スコア（独自算出の注目度）: 26.415314255785656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finetuning vision foundation models often improves in-domain accuracy but comes at the cost of robustness under distribution shift. We revisit Mixout, a stochastic regularizer that intermittently replaces finetuned weights with their pretrained reference, through the lens of a single-run, weight-sharing implicit ensemble. This perspective reveals three key levers that govern robustness: the \emph{masking anchor}, \emph{resampling frequency}, and \emph{mask sparsity}. Guided by this analysis, we introduce GMixout, which (i) replaces the fixed anchor with an exponential moving-average snapshot that adapts during training, and (ii) regulates masking period via an explicit resampling-frequency hyperparameter. Our sparse-kernel implementation updates only a small fraction of parameters with no inference-time overhead, enabling training on consumer-grade GPUs. Experiments on benchmarks covering covariate shift, corruption, and class imbalance, ImageNet / ImageNet-LT, DomainNet, iWildCam, and CIFAR100-C, GMixout consistently improves in-domain accuracy beyond zero-shot performance while surpassing both Model Soups and strong parameter-efficient finetuning baselines under distribution shift.
• Abstract（参考訳）: ファインチュニング・ビジョン・ファンデーション・モデルはドメイン内の精度を向上するが、分散シフト時の堅牢性のコストが伴う。 ミキシング(Mixout, 確率正規化器)は、微調整された重みを予め訓練された基準に差し替え、単一ランの暗黙のアンサンブル(暗黙のアンサンブル)のレンズを通して、間欠的に置き換える。 この観点では、ロバスト性を支配する3つのキーレバーが示される: \emph{masking anchor}, \emph{resampling frequency}, \emph{mask sparsity}。 この分析を参考にGMixoutを紹介します。 i) 固定アンカーをトレーニング中に適応する指数的な移動平均スナップショットに置き換え、 (ii)明示的な再サンプリング周波数ハイパーパラメータを介してマスキング期間を規制する。 我々のスパースカーネル実装は、推論時間オーバーヘッドのない少数のパラメータだけを更新し、コンシューマグレードのGPUのトレーニングを可能にします。 画像Net / ImageNet-LT, DomainNet, iWildCam, CIFAR100-C, GMixout など,共変量シフト, 破損, クラス不均衡を対象とするベンチマークの実験では, GMixout は,分散シフト時のモデル相殺と強力なパラメータ効率の微調整ベースラインを越えながら,ゼロショット性能以上のドメイン内精度を一貫して向上する。

関連論文リスト

• High-Rate Mixout: Revisiting Mixout for Robust Domain Generalization [26.415314255785656]
  Dropoutはランダムニューロンの不活性化を通じてアンサンブルをシミュレートすることで、軽量な代替手段を提供する。 ニューロンを不活性化させるのではなく、Mixoutはトレーニング済みのニューロンと微調整した体重のサブセットを交換することで過剰な適合を緩和する。 提案手法であるHigh-rate Mixoutは,アンサンブル法に匹敵する領域外精度を実現し,トレーニングコストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-10-08T12:37:56Z)
• Distributed Training under Packet Loss [8.613477072763404]
  信頼性の低いコネクションを利用するとレイテンシが低下するが、パケットを落としてモデルの精度と収束を犠牲にする可能性がある。 そこで本研究では,パケット損失の正確性と収束性を保証する原理的なエンドツーエンドソリューションを提案する。 この研究は、コミュニケーション効率の高いプロトコルと、現代の大規模モデルの訓練で要求される精度と保証のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2025-07-02T11:07:20Z)
• SPIRE: Conditional Personalization for Federated Diffusion Generative Models [7.8583640700306585]
  Shared Backbone Personal Identity Representation Embeddings (SPIRE)は、FLで条件付き生成としてクライアント拡散ベースの生成をキャストするフレームワークである。 SPIREは、ネットワークを(i)人口レベルのスコア関数を学習する高容量なグローバルバックボーンと、(ii)ローカルデータ統計を符号化する軽量で学習可能なクライアント埋め込みに分解する。 我々の分析は、クライアントの埋め込みが共有スコアネットワークをパーソナライズするバイアスとしてどのように振舞うかを示唆している。
  論文  参考訳（メタデータ） (2025-06-14T01:40:31Z)
• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [1.9766522384767224]
  underlineAsynchunderlineRonous underlineExact underlineAveraging (textscAREA) textscAREAは勾配推定よりもモデル残差を通信し、勾配反転への露出を減らす。 最初は、最低または最大ではなく、平均的なクライアント更新頻度でスケールするレートを取得しました。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)
• Patch-level Neighborhood Interpolation: A General and Effective Graph-based Regularization Strategy [77.34280933613226]
  我々は、ネットワークの計算において非局所的な表現を行うtextbfPatch-level Neighborhood Interpolation(Pani)と呼ばれる一般的な正規化器を提案する。 提案手法は,異なる層にパッチレベルグラフを明示的に構築し,その近傍のパッチ特徴を線形に補間し,汎用的で効果的な正規化戦略として機能する。
  論文  参考訳（メタデータ） (2019-11-21T06:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。