論文の概要: Benchmarking Robustness of Adaptation Methods on Pre-trained
Vision-Language Models
- arxiv url: http://arxiv.org/abs/2306.02080v3
- Date: Sat, 18 Nov 2023 08:51:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 19:26:23.591511
- Title: Benchmarking Robustness of Adaptation Methods on Pre-trained
Vision-Language Models
- Title(参考訳): 事前学習した視覚言語モデルにおける適応法のロバスト性
- Authors: Shuo Chen, Jindong Gu, Zhen Han, Yunpu Ma, Philip Torr, Volker Tresp
- Abstract要約: マルチモーダルな汚職下では、4つの視覚言語データセットにまたがる11種類の広く使われている適応手法のロバスト性を評価する。
1)適応法は視覚的汚職よりもテキストの汚損に敏感である。
予測とは対照的に,適応データやパラメータの増大は強靭性を保証するものではないことが示唆された。
- 参考スコア(独自算出の注目度): 49.595973365500775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Various adaptation methods, such as LoRA, prompts, and adapters, have been
proposed to enhance the performance of pre-trained vision-language models in
specific domains. The robustness of these adaptation methods against
distribution shifts have not been studied. In this study, we assess the
robustness of 11 widely-used adaptation methods across 4 vision-language
datasets under multimodal corruptions. Concretely, we introduce 7 benchmark
datasets, including 96 visual and 87 textual corruptions, to investigate the
robustness of different adaptation methods, the impact of available adaptation
examples, and the influence of trainable parameter size during adaptation. Our
analysis reveals that: 1) Adaptation methods are more sensitive to text
corruptions than visual corruptions. 2) Full fine-tuning does not consistently
provide the highest robustness; instead, adapters can achieve better robustness
with comparable clean performance. 3) Contrary to expectations, our findings
indicate that increasing the number of adaptation data and parameters does not
guarantee enhanced robustness; instead it results in even lower robustness. We
hope this study could benefit future research in the development of robust
multimodal adaptation methods. The benchmark, code, and dataset used in this
study can be accessed at https://adarobustness.github.io .
- Abstract(参考訳): LoRA、プロンプト、アダプタなどの様々な適応手法が提案され、特定の領域における事前学習された視覚言語モデルの性能を向上させる。
これらの分散シフトに対する適応法の堅牢性は研究されていない。
本研究では,4つの視覚言語データセットにまたがる11の適応手法のロバスト性を評価する。
具体的には、異なる適応手法の堅牢性、利用可能な適応例の影響、適応中のトレーニング可能なパラメータサイズの影響を調べるために、96の視覚的および87のテキスト汚職を含む7つのベンチマークデータセットを導入する。
私たちの分析によると、
1)適応手法は視覚的腐敗よりもテキストの腐敗に敏感である。
2) 完全な微調整は、一貫して最も堅牢性を提供しない;代わりに、アダプタは、同等のクリーンな性能で、より優れた堅牢性を達成できる。
3) 予測に反して, 適応データとパラメータの増加は頑健性の向上を保証せず, より低いロバスト性をもたらすことが示唆された。
本研究は,ロバストなマルチモーダル適応法の開発における今後の研究の恩恵を期待する。
この研究で使われているベンチマーク、コード、データセットは、https://adarobustness.github.io.com/でアクセスできる。
関連論文リスト
- Masked Thought: Simply Masking Partial Reasoning Steps Can Improve
Mathematical Reasoning Learning of Language Models [106.59263704052206]
推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。
入力の摂動に代えて,外部リソースを回避する手法を開発した。
私たちのトレーニングアプローチは、思考の連鎖内の特定のトークンをランダムに隠蔽します。
論文 参考訳(メタデータ) (2024-03-04T16:21:54Z) - Empirical Analysis of Efficient Fine-Tuning Methods for Large
Pre-Trained Language Models [4.096453902709292]
BitFitとアダプタモジュールは、標準のフルモデルファインチューニングと比較される。
BitFitアプローチは、さまざまなトレーニングデータにわたる完全な微調整パフォーマンスと一致します。
アダプタモジュールは、デフォルトモデルよりも一貫性のないゲインを持つ、高い可変性を示す。
論文 参考訳(メタデータ) (2024-01-08T17:44:43Z) - In Search of Lost Online Test-time Adaptation: A Survey [43.113712176561435]
本稿では、新しいデータ分布に機械学習モデルを適用することに焦点を当てた、オンラインテスト時間適応(OTTA)に関する総合的な調査を行う。
我々はOTTAテクニックを3つの主要なカテゴリに分類し、それらをベンチマークに分類し、真に効果的な戦略を発見する。
その結果,(1)変圧器は多彩なドメインシフトに対して高いレジリエンスを示すこと,(2)多くのOTTA法が多くのバッチサイズで有効であること,(3)適応中に最適化と摂動抵抗の安定性が重要であること,などが示唆された。
論文 参考訳(メタデータ) (2023-10-31T05:47:33Z) - Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo
Matching [77.133400999703]
相関に基づくステレオマッチングは優れた性能を達成した。
固定モデルによる現在のメソッドは、さまざまなデータセットで均一に動作しない。
本稿では,ロバストなステレオマッチングのための相関を動的に計算する新しい視点を提案する。
論文 参考訳(メタデータ) (2023-07-26T09:47:37Z) - Learning Representations Robust to Group Shifts and Adversarial Examples [18.742222861886148]
本稿では,対向学習とグループ分布の頑健な最適化を組み合わせて表現学習を改善するアルゴリズムを提案する。
3つの画像ベンチマークデータセットの実験から,提案手法は標準指標の多くを犠牲にすることなく,ロバストな測定結果に対して優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2022-02-18T22:06:25Z) - Parameter-free Online Test-time Adaptation [19.279048049267388]
実世界の様々なシナリオにおいて,テスト時間適応手法が事前学習されたモデルにどのような効果をもたらすかを示す。
我々は特に「保守的」なアプローチを提案し、ラプラシアン適応最大推定(LAME)を用いてこの問題に対処する。
提案手法では,既存の手法よりもシナリオの平均精度がはるかに高く,メモリフットプリントもはるかに高速である。
論文 参考訳(メタデータ) (2022-01-15T00:29:16Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳(メタデータ) (2021-10-18T17:55:11Z) - Improving Model Robustness by Adaptively Correcting Perturbation Levels
with Active Queries [43.98198697182858]
モデルが人間の専門家から正しい摂動レベルを対話的に照会できるように,新しいアクティブラーニングフレームワークを提案する。
理論的解析と実験的研究の両方が提案手法の有効性を検証した。
論文 参考訳(メタデータ) (2021-03-27T07:09:01Z) - Unsupervised Robust Domain Adaptation without Source Data [75.85602424699447]
我々は、利用できないターゲットラベルとソースデータのコンテキストにおけるロバストなドメイン適応の問題について研究する。
4つのベンチマークデータセットでテストされたベースラインに対して10%以上の精度で一貫したパフォーマンス改善を示す。
論文 参考訳(メタデータ) (2021-03-26T16:42:28Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2020-10-21T14:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。