論文の概要: Feed Two Birds with One Scone: Exploiting Function-Space Regularization for Both OOD Robustness and ID Fine-Tuning Performance

• arxiv url: http://arxiv.org/abs/2509.05328v1
• Date: Sun, 31 Aug 2025 12:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.429127
• Title: Feed Two Birds with One Scone: Exploiting Function-Space Regularization for Both OOD Robustness and ID Fine-Tuning Performance
• Title（参考訳）: 1羽の巣を持つ2羽の餌:OODロバストネスとIDファインチューニング性能の両面における関数空間正規化の爆発
• Authors: Xiang Yuan, Jun Shu, Deyu meng, Zongben Xu,
• Abstract要約: シミュレーションOODサンプルを用いて,関数空間における微調整モデルと事前学習モデルの距離を制約する新しい正規化を提案する。 このアプローチは、ダウンストリームタスクIDの微調整性能と、さまざまなCLIPバックボーン間のOODロバスト性の両方を一貫して改善できる。
• 参考スコア（独自算出の注目度）: 72.57668440744301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robust fine-tuning aims to achieve competitive in-distribution (ID) performance while maintaining the out-of-distribution (OOD) robustness of a pre-trained model when transferring it to a downstream task. To remedy this, most robust fine-tuning methods aim to preserve the pretrained weights, features, or logits. However, we find that these methods cannot always improve OOD robustness for different model architectures. This is due to the OOD robustness requiring the model function to produce stable prediction for input information of downstream tasks, while existing methods might serve as a poor proxy for the optimization in the function space. Based on this finding, we propose a novel regularization that constrains the distance of fine-tuning and pre-trained model in the function space with the simulated OOD samples, aiming to preserve the OOD robustness of the pre-trained model. Besides, to further enhance the OOD robustness capability of the fine-tuning model, we introduce an additional consistency regularization to promote stable predictions of perturbed samples. Extensive experiments demonstrate our approach could consistently improve both downstream task ID fine-tuning performance and OOD robustness across a variety of CLIP backbones, outperforming existing regularization-based robust fine-tuning methods.
• Abstract（参考訳）: ロバスト微調整は、ダウンストリームタスクに転送する際、事前訓練されたモデルのアウト・オブ・ディストリビューション(OOD)ロバスト性を維持しながら、競合するイン・ディストリビューション(ID)性能を達成することを目的としている。 これを改善するため、最も頑丈な微調整手法は、事前訓練された重量、特徴、または物流を保存することを目的としている。 しかし、これらの手法は、異なるモデルアーキテクチャにおいて常にOODロバスト性を改善することはできない。 これは、モデル関数が下流タスクの入力情報に対して安定した予測を生成するのに必要なOODロバスト性のためであり、既存のメソッドは関数空間の最適化のプロキシとして役立ちます。 そこで本研究では,関数空間における微調整モデルと事前学習モデルの距離を模擬OODサンプルで制限し,事前学習モデルのOODロバスト性を維持することを目的とした新しい正規化を提案する。 さらに、微調整モデルのOOD堅牢性をさらに向上するため、摂動サンプルの安定予測を促進するために、さらなる整合正則化を導入する。 大規模な実験では、ダウンストリームタスクIDの微調整性能と様々なCLIPバックボーン間のOODロバスト性の両方を一貫して改善し、既存の正規化ベースの頑健な微調整方法よりも優れていた。

関連論文リスト

• Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
  微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。 トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2024-11-11T13:13:39Z)
• Robust Fine-tuning for Pre-trained 3D Point Cloud Models [15.404188754049317]
  本稿では,事前学習した3次元点雲モデルに対して,ロバストな微調整法を提案する。 我々は、現在の微調整手法の限界とロバストモデル学習の課題を強調した。 モデルロバスト性向上におけるWiSE-FT-LPの有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-25T08:52:25Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
  分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。 近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。 効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
  論文  参考訳（メタデータ） (2022-07-08T18:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。