論文の概要: Improving Robustness of Foundation Models in Domain Adaptation with Soup-Adapters

• arxiv url: http://arxiv.org/abs/2507.05807v1
• Date: Tue, 08 Jul 2025 09:26:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.828973
• Title: Improving Robustness of Foundation Models in Domain Adaptation with Soup-Adapters
• Title（参考訳）: ソップアダプタを用いたドメイン適応における基礎モデルのロバスト性向上
• Authors: Marco Roschkowski,
• Abstract要約: 複数の独立したアダプタをトレーニングし、その出力を平均化することにより、新しいモデルの性能が向上し、個々のアダプタと比較して分散シフトに対して堅牢であることを示す。 これはまた、DINOv2向けのCLIPアダプタスタイルのテクニックを探求し、この設定でCLIPと直接比較する最初の研究である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this paper, we tackle two fundamental problems in few-shot domain adaptation of foundation models. First, hyperparameter tuning is often impractical due to the lack of large validation datasets. Second, model robustness under distribution shifts where test time data deviates slightly from training distributions, remains a concern. We show that by training multiple independent adapters and averaging their outputs, the new model has a higher performance and is more robust to distribution shifts compared to any individual adapter. This improvement holds even when the adapters are trained with diverse hyperparameters sampled from a wide range, resulting in varied individual performance. Consequently, our method addresses both of the problems described above. The ensemble is also significantly less sensitive to the residual ratio, a critical hyperparameter of CLIP-Adapter. Since the ensemble can be reparameterized to a single adapter again using a principled concatenation of the parameters, we refer to our method as Soup-Adapter. This is also the first study to explore CLIP adapter-style techniques for DINOv2 and to directly compare them with CLIP in this setting.
• Abstract（参考訳）: 本稿では,基礎モデルのドメイン適応における2つの基本的な問題に対処する。 まず、大規模な検証データセットが欠如しているため、ハイパーパラメータチューニングは現実的ではないことが多い。 第二に、テスト時間データがトレーニングディストリビューションからわずかに逸脱する分散シフト下でのモデルロバスト性は、依然として懸念されている。 複数の独立したアダプタをトレーニングし、その出力を平均化することにより、新しいモデルの性能が向上し、個々のアダプタと比較して分散シフトに対して堅牢であることを示す。 この改善は、アダプタが幅広い範囲からサンプリングされた多様なハイパーパラメータで訓練されたとしても維持され、結果として個々のパフォーマンスが変化する。 その結果,本手法は上記の2つの問題に対処する。 アンサンブルは、CLIP-Adapterの臨界ハイパーパラメータである残留比に対する感度も著しく低い。 アンサンブルはパラメータの原理的結合を用いて1つのアダプタに再パラメータ化できるので、我々はSoup-Adapterと呼ぶ。 これはまた、DINOv2向けのCLIPアダプタスタイルのテクニックを探求し、この設定でCLIPと直接比較する最初の研究である。

関連論文リスト

• Low-Rank Adaptation Secretly Imitates Differentially Private SGD [5.359060261460183]
  理論的には、低ランク適応はノイズの多いバッチ勾配を持つ微調整アダプタと等価である。 また、入射雑音の分散を適応ランクの減少関数として定量化する。 低ランク適応は、微調整データに対して、メンバシップ推論攻撃に対して堅牢性を提供する。
  論文  参考訳（メタデータ） (2024-09-26T04:56:49Z)
• Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
  新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。 これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。 LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:00Z)
• Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models [108.08773541490191]
  事前訓練された言語モデル(PLM)は大量のパラメータを持ち、微調整は高価で時間を要することが多い。 ダウンストリームタスクにおける性能を損なうことなく、微調整時にPLMのパラメータを減らすためのパラメータ効率のアプローチを採用する必要がある。 本稿では, PLMにおける自己注意出力のみに作用する新しいアダプタを設計する。
  論文  参考訳（メタデータ） (2024-07-04T18:21:28Z)
• MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
  モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。 2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-30T12:10:17Z)
• SparseAdapter: An Easy Approach for Improving the Parameter-Efficiency of Adapters [96.52807311742198]
  我々は、ネットワークプルーニングのレンズを通して、アダプタのパラメータ効率を再検討する。 スパース比が最大80%に達すると、SparseAdapterは標準のAdapterよりも同等あるいは優れたパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2022-10-09T15:28:48Z)
• AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large Language Models [119.7093605087114]
  大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。 これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。 パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2022-05-24T23:41:22Z)
• AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
  数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。 近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。 本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
  論文  参考訳（メタデータ） (2022-04-30T16:49:41Z)
• On the Effectiveness of Adapter-based Tuning for Pretrained Language Model Adaptation [36.37565646597464]
  プリトレーニング言語モデル(PrLM)に軽量アダプタモジュールを追加することで、アダプタベースのチューニングが機能する 新しいタスクごとにいくつかのトレーニング可能なパラメータを追加するだけで、高いパラメータ共有が可能になる。 アダプタベースのチューニングは,低リソースタスクと多言語タスクの微調整に優れることを示す。
  論文  参考訳（メタデータ） (2021-06-06T16:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。