論文の概要: Multi LoRA Meets Vision: Merging multiple adapters to create a multi task model

• arxiv url: http://arxiv.org/abs/2411.14064v1
• Date: Thu, 21 Nov 2024 12:26:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:20:19.689488
• Title: Multi LoRA Meets Vision: Merging multiple adapters to create a multi task model
• Title（参考訳）: Multi LoRA Meets Vision: マルチタスクモデルを作成するために複数のアダプタをマージする
• Authors: Ege Kesim, Selahattin Serdar Helli,
• Abstract要約: 本稿では,コンピュータビジョンタスクで訓練された複数のLoRAアダプタをマージできるかどうかを検討した。 6つの異なるタスクでアダプタを訓練し、それらがマージされたときのパフォーマンスを評価しました。 以上の結果から,アダプタをマージすることでマルチタスクモデルを生成する単純なマージ手法であっても,若干の性能を損なうことで実現可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 1.2891210250935148
• License:
• Abstract: Parameter efficient finetuning (PEFT) methods are widely used in LLMs and generative models in computer vision. Especially one can use multiple of these during inference to change the behavior of the base model. In this paper we investigated whether multiple LoRA adapters trained on computer vision tasks can be merged together and used during inference without loss in performance. By achieving this, multitask models can be created just by merging different LoRAs. Merging these will reduce inference time and it will not require any additional retraining. We have trained adapters on six different tasks and evaluated their performance when they are merged together. For comparison we used a model with a frozen backbone and finetuned its head. Our results show that even with simple merging techniques creating a multitask model by merging adapters is achievable by slightly loosing performance in some cases. In our experiments we merged up to three adapters together. Depending on the task and the similarity of the data adapters were trained on, merges can outperform head finetuning. We have observed that LoRAs trained with dissimilar datasets tend to perform better compared to model trained on similar datasets.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)法はコンピュータビジョンのLLMや生成モデルで広く用いられている。 特に、ベースモデルの振る舞いを変えるために、推論中に複数のものを使用することができます。 本稿では,コンピュータビジョンタスクで訓練された複数のLoRAアダプタを,性能を損なうことなく,推論中に組み合わせて使用することができるかどうかを検討した。 これを実現することで、異なるLoRAをマージするだけでマルチタスクモデルを作成することができる。 これらを統合することで推論時間が短縮され、追加の再トレーニングは不要になる。 6つの異なるタスクでアダプタを訓練し、それらがマージされたときのパフォーマンスを評価しました。 比較のために、凍結したバックボーンを持つモデルを使用し、頭部を微調整した。 以上の結果から,アダプタをマージすることでマルチタスクモデルを生成する単純なマージ手法であっても,若干の性能を損なうことで実現可能であることが示唆された。 実験では、3つのアダプタにマージしました。 タスクとデータアダプタの類似性がトレーニングされているため、マージはヘッド微調整よりも優れています。 類似データセットでトレーニングされたLoRAは、類似データセットでトレーニングされたモデルと比較して、パフォーマンスが向上する傾向にある。

関連論文リスト

• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• Merging Vision Transformers from Different Tasks and Domains [46.40701388197936]
  この作業は、異なるタスク(オブジェクトカテゴリの異なるデータセット)やドメイン(同じカテゴリの異なるデータセット)でトレーニングされたさまざまなビジョントランスフォーマー(ViT)を1つの統一モデルにマージすることを目的としている。 これまでのモデルマージ作業はCNNまたはNLPモデルに重点を置いており、ViTsのマージ研究は未修正のままである。
  論文  参考訳（メタデータ） (2023-12-25T09:32:28Z)
• Parameter Efficient Multi-task Model Fusion with Partial Linearization [97.23530944186078]
  パラメータ効率のよい微調整技術において,マルチタスク融合を改善する新しい手法を提案する。 提案手法は, アダプタモジュールのみを部分的に線形化し, 線形化アダプタにタスク演算を適用する。 我々の部分線形化手法は、複数のタスクをより効果的に1つのモデルに融合させることを可能にしている。
  論文  参考訳（メタデータ） (2023-10-07T08:55:54Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Less is More -- Towards parsimonious multi-task models using structured sparsity [4.874780144224057]
  この作業は、パラメータが少ない複数のタスクに最適化されたスパースモデルを作成することに焦点を当てている。 マルチタスク学習モデルの共有畳み込み層パラメータ(あるいは重み付け)にチャネルワイズl1/l2グループ間隔を導入する。 広範に使用されている2つのマルチタスク学習(MTL)データセットにおいて,シングルタスクとマルチタスク設定の両方においてグループ間隔が生じた結果を分析した。
  論文  参考訳（メタデータ） (2023-08-23T13:09:03Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• FAME-ViL: Multi-Tasking Vision-Language Model for Heterogeneous Fashion Tasks [129.49630356651454]
  ファシオンに着目した視覚・言語タスクのための多タスク学習手法(FAME-ViL)を提案する。 我々のFAME-ViLは、代替案よりも61.5%のパラメータを節約できるが、従来の独立的に訓練されたシングルタスクモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2023-03-04T19:07:48Z)
• Cross-Modal Adapter for Text-Video Retrieval [91.9575196703281]
  我々はパラメータ効率の良い微調整のための新しい$textbfCross-Modal Adapterを提示する。 アダプタベースの手法にインスパイアされ、いくつかのパラメータ化レイヤで事前訓練されたモデルを調整します。 MSR-VTT、MSVD、VATEX、ActivityNet、DiDeMoデータセットで完全に微調整されたメソッドと比較して、優れた、あるいは同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-11-17T16:15:30Z)
• Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks [37.2958914602899]
  共有ハイパーネットワークを用いて、すべてのレイヤやタスクのアダプタパラメータを生成できることを示す。 よく知られたGLUEベンチマークの実験では、タスク当たり0.29%のパラメータしか追加することなく、マルチタスク学習のパフォーマンスが改善された。
  論文  参考訳（メタデータ） (2021-06-08T16:16:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。