Fugu-MT 論文翻訳(概要): Domain Generalization Using Large Pretrained Models with Mixture-of-Adapters

論文の概要: Domain Generalization Using Large Pretrained Models with Mixture-of-Adapters

arxiv url: http://arxiv.org/abs/2310.11031v2
Date: Sat, 07 Dec 2024 06:57:05 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-10 14:49:23.734105
Title: Domain Generalization Using Large Pretrained Models with Mixture-of-Adapters
Title（参考訳）: 適応型混合型大規模事前学習モデルを用いた領域一般化
Authors: Gyuseong Lee, Wooseok Jang, Jinhyeon Kim, Jaewoo Jung, Seungryong Kim,
Abstract要約: 本研究は, OODシナリオの処理を改善し, 領域一般化問題に取り組むために, 大規模事前学習モデルの知識を活用することを目的とする。我々は,大規模モデルで作業しながらOODロバスト性を効果的に維持するために,パラメータ効率のよい微調整(PEFT)技術を用いる。実験と分析により、最も効果的なアプローチは、多様なモデルを集結させ、事前学習の規模を増大させることであることを確認した。
参考スコア（独自算出の注目度）: 33.401355417911084
License:
Abstract: Learning robust vision models that perform well in out-of-distribution (OOD) situations is an important task for model deployment in real-world settings. Despite extensive research in this field, many proposed methods have only shown minor performance improvements compared to the simplest empirical risk minimization (ERM) approach, which was evaluated on a benchmark with a limited hyperparameter search space. Our focus in this study is on leveraging the knowledge of large pretrained models to improve handling of OOD scenarios and tackle domain generalization problems. However, prior research has revealed that naively fine-tuning a large pretrained model can impair OOD robustness. Thus, we employ parameter-efficient fine-tuning (PEFT) techniques to effectively preserve OOD robustness while working with large models. Our extensive experiments and analysis confirm that the most effective approaches involve ensembling diverse models and increasing the scale of pretraining. As a result, we achieve state-of-the-art performance in domain generalization tasks. Our code and project page are available at: https://cvlab-kaist.github.io/MoA
Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)の状況下でうまく機能する堅牢なビジョンモデルを学ぶことは、現実の環境でモデルデプロイメントを行う上で重要なタスクである。この分野での広範な研究にもかかわらず、多くの提案手法は、最も単純な経験的リスク最小化(ERM)アプローチと比較して、わずかな性能改善しか示していない。本研究は,OODシナリオの処理を改善し,領域一般化問題に取り組むために,大規模事前学習モデルの知識を活用することに焦点を当てる。しかし、以前の研究では、大きな事前訓練されたモデルに鼻で微調整することで、OODの堅牢性を損なうことが判明している。そこで我々は,大規模モデルで作業しながらOODロバスト性を効果的に維持するために,パラメータ効率のよい微調整(PEFT)技術を用いる。我々の広範な実験と分析により、最も効果的なアプローチは、多様なモデルを集結させ、事前訓練の規模を増大させることであることを確認した。その結果,ドメイン一般化タスクにおける最先端性能が達成された。私たちのコードとプロジェクトページは、https://cvlab-kaist.github.io/MoA.com/で公開されています。

関連論文リスト

Feature Protection For Out-of-distribution Generalization [24.072876186625855]
事前訓練された特徴の保護は、より厳密に調整されたモデルが一般化に結びつくことを示す。事前訓練された特徴の保護は,OODの一般化に対してより堅牢な微調整モデルをもたらすことを示す。
論文参考訳（メタデータ） (2024-05-25T03:00:06Z)
Efficiency at Scale: Investigating the Performance of Diminutive Language Models in Clinical Tasks [2.834743715323873]
本稿では,臨床意思決定タスクにおけるPEFT法の適合性について検討する。分析の結果,ほとんどのPEFT手法の性能はタスクによって大きく異なることがわかった。臨床領域におけるPEFT法の有効性は明らかであり、特に低コストで社内の計算インフラで運用できる専門モデルでは顕著である。
論文参考訳（メタデータ） (2024-02-16T11:30:11Z)
Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文参考訳（メタデータ） (2023-10-24T07:58:20Z)
Model Agnostic Sample Reweighting for Out-of-Distribution Learning [38.843552982739354]
我々は,OOD問題に効果的に対応するために,基本的手法であるtextbfAgnostic SamtextbfPLe rtextbfEweighting (textbfMAPLE)を提案する。我々のキーとなる考え方は、トレーニングサンプルを効果的に再重み付けすることで、大規模モデルの標準的な経験的リスク最小化トレーニングがOOD一般化性能に優れたものとなるようにすることである。
論文参考訳（メタデータ） (2023-01-24T05:11:03Z)
Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
論文参考訳（メタデータ） (2022-10-12T17:54:59Z)
SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
論文参考訳（メタデータ） (2022-10-10T16:07:24Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
Sample-Efficient Reinforcement Learning via Conservative Model-Based Actor-Critic [67.00475077281212]
モデルベース強化学習アルゴリズムは、モデルフリーのアルゴリズムよりもサンプル効率が高い。本稿では,精度の高い学習モデルに強く依存することなく,高いサンプル効率を実現する新しい手法を提案する。 CMBACは,いくつかの課題に対して,サンプル効率の点で最先端のアプローチを著しく上回ることを示す。
論文参考訳（メタデータ） (2021-12-16T15:33:11Z)
Sample Efficient Reinforcement Learning via Model-Ensemble Exploration and Exploitation [3.728946517493471]
MEEEは楽観的な探索と重み付けによる搾取からなるモデルアンサンブル法である。我々の手法は、特にサンプル複雑性において、他のモデルフリーおよびモデルベース最先端手法よりも優れています。
論文参考訳（メタデータ） (2021-07-05T07:18:20Z)
Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文参考訳（メタデータ） (2020-12-08T18:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。