論文の概要: Domain Generalization Using Large Pretrained Models with Mixture-of-Adapters

• arxiv url: http://arxiv.org/abs/2310.11031v2
• Date: Sat, 07 Dec 2024 06:57:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:49:23.734105
• Title: Domain Generalization Using Large Pretrained Models with Mixture-of-Adapters
• Title（参考訳）: 適応型混合型大規模事前学習モデルを用いた領域一般化
• Authors: Gyuseong Lee, Wooseok Jang, Jinhyeon Kim, Jaewoo Jung, Seungryong Kim,
• Abstract要約: 本研究は, OODシナリオの処理を改善し, 領域一般化問題に取り組むために, 大規模事前学習モデルの知識を活用することを目的とする。 我々は,大規模モデルで作業しながらOODロバスト性を効果的に維持するために,パラメータ効率のよい微調整(PEFT)技術を用いる。 実験と分析により、最も効果的なアプローチは、多様なモデルを集結させ、事前学習の規模を増大させることであることを確認した。
• 参考スコア（独自算出の注目度）: 33.401355417911084
• License:
• Abstract: Learning robust vision models that perform well in out-of-distribution (OOD) situations is an important task for model deployment in real-world settings. Despite extensive research in this field, many proposed methods have only shown minor performance improvements compared to the simplest empirical risk minimization (ERM) approach, which was evaluated on a benchmark with a limited hyperparameter search space. Our focus in this study is on leveraging the knowledge of large pretrained models to improve handling of OOD scenarios and tackle domain generalization problems. However, prior research has revealed that naively fine-tuning a large pretrained model can impair OOD robustness. Thus, we employ parameter-efficient fine-tuning (PEFT) techniques to effectively preserve OOD robustness while working with large models. Our extensive experiments and analysis confirm that the most effective approaches involve ensembling diverse models and increasing the scale of pretraining. As a result, we achieve state-of-the-art performance in domain generalization tasks. Our code and project page are available at: https://cvlab-kaist.github.io/MoA
• Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)の状況下でうまく機能する堅牢なビジョンモデルを学ぶことは、現実の環境でモデルデプロイメントを行う上で重要なタスクである。 この分野での広範な研究にもかかわらず、多くの提案手法は、最も単純な経験的リスク最小化(ERM)アプローチと比較して、わずかな性能改善しか示していない。 本研究は,OODシナリオの処理を改善し,領域一般化問題に取り組むために,大規模事前学習モデルの知識を活用することに焦点を当てる。 しかし、以前の研究では、大きな事前訓練されたモデルに鼻で微調整することで、OODの堅牢性を損なうことが判明している。 そこで我々は,大規模モデルで作業しながらOODロバスト性を効果的に維持するために,パラメータ効率のよい微調整(PEFT)技術を用いる。 我々の広範な実験と分析により、最も効果的なアプローチは、多様なモデルを集結させ、事前訓練の規模を増大させることであることを確認した。 その結果,ドメイン一般化タスクにおける最先端性能が達成された。 私たちのコードとプロジェクトページは、https://cvlab-kaist.github.io/MoA.com/で公開されています。

関連論文リスト

• Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
  新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。 これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。 LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:00Z)
• FL-TAC: Enhanced Fine-Tuning in Federated Learning via Low-Rank, Task-Specific Adapter Clustering [12.417857960556155]
  Federated Learning(FL)は,さまざまなタスクデータを備えた大規模クライアント間の微調整を可能にすることで,有望なソリューションを提供する。 本稿では,FLフレームワーク内の大規模事前学習モデルを低ランク微調整により微調整する際の通信コストについて述べる。
  論文  参考訳（メタデータ） (2024-04-23T10:50:38Z)
• PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
  本稿では, PYRA(Parallel Yielding Re-Activation)法を提案する。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
  論文  参考訳（メタデータ） (2024-03-14T09:06:49Z)
• TAIL: Task-specific Adapters for Imitation Learning with Large Pretrained Models [32.83440439290383]
  TAIL(Task-specific Adapters for Learning)は,新しい制御タスクに効率的に適応するためのフレームワークである。 言語領域におけるパラメータ効率の良い微調整の最近の進歩に触発されて,効率的な微調整技術を探究する。 大規模言語条件の操作タスクにおける実験から,LoRAを用いたTAILは適応後最高の性能が得られることが示唆された。
  論文  参考訳（メタデータ） (2023-10-09T17:49:50Z)
• MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
  モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。 2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-30T12:10:17Z)
• A Comprehensive Analysis of Adapter Efficiency [20.63580880344425]
  自然言語理解(NLU)タスクの場合, アダプタのパラメータ効率は, モデル全体の微調整に比べて, 効率向上に寄与しないことを示す。 NLUタスクの適度なサイズのモデルには、アダプタを使うのではなく、完全な微調整やマルチタスクのトレーニングに頼ることを推奨する。
  論文  参考訳（メタデータ） (2023-05-12T14:05:45Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• To Adapt or to Fine-tune: A Case Study on Abstractive Summarization [7.353994554197792]
  抽象的な要約の分野における最近の進歩は、ゼロからモデルを訓練するのではなく、事前訓練された言語モデルを活用する。 このようなモデルは訓練に適さないため、膨大なオーバーヘッドが伴う。 アダプタの使用が、パフォーマンスの不快な犠牲を伴わずに効率を向上するという点で、要約作業の恩恵を受けるかどうかは不明だ。
  論文  参考訳（メタデータ） (2022-08-30T22:48:28Z)
• AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
  数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。 近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。 本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
  論文  参考訳（メタデータ） (2022-04-30T16:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。