論文の概要: EigenLoRAx: Recycling Adapters to Find Principal Subspaces for Resource-Efficient Adaptation and Inference

• arxiv url: http://arxiv.org/abs/2502.04700v1
• Date: Fri, 07 Feb 2025 07:07:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:57:54.906178
• Title: EigenLoRAx: Recycling Adapters to Find Principal Subspaces for Resource-Efficient Adaptation and Inference
• Title（参考訳）: EigenLoRAx:資源効率の良い適応と推論のための主部分空間を見つけるためのリサイクルアダプタ
• Authors: Prakhar Kaushik, Ankit Vaidya, Shravan Chaudhari, Alan Yuille,
• Abstract要約: Low-Rank Adapters (LoRA)は、大規模なモデルを微調整するための軽量なソリューションを提供する。 パラメータ効率のよいファインタニング手法であるEigenLoRAxを導入し、既存のアダプタをリサイクルして主部分空間を生成する。 これにより、部分空間の主成分の軽量係数のみを学習することで、新しいタスクへの迅速な適応が可能になる。
• 参考スコア（独自算出の注目度）: 3.4248731707266264
• License:
• Abstract: The rapid growth of large models has raised concerns about their environmental impact and equity in accessibility due to significant computational costs. Low-Rank Adapters (LoRA) offer a lightweight solution for finetuning large models, resulting in an abundance of publicly available adapters tailored to diverse domains. We ask: Can these pretrained adapters be leveraged to further streamline adaptation to new tasks while addressing these challenges? We introduce EigenLoRAx, a parameter-efficient finetuning method that recycles existing adapters to create a principal subspace aligned with their shared domain knowledge which can be further augmented with orthogonal basis vectors in low-resource scenarios. This enables rapid adaptation to new tasks by learning only lightweight coefficients on the principal components of the subspace - eliminating the need to finetune entire adapters. EigenLoRAx requires significantly fewer parameters and memory, improving efficiency for both training and inference. Our method demonstrates strong performance across diverse domains and tasks, offering a scalable for edge-based applications, personalization, and equitable deployment of large models in resource-constrained environments.
• Abstract（参考訳）: 大規模モデルの急速な成長は、大きな計算コストによる環境影響とアクセシビリティの公平性への懸念を引き起こしている。 Low-Rank Adapters (LoRA)は、大規模なモデルを微調整するための軽量なソリューションを提供する。 これらの事前訓練されたアダプタは、これらの課題に対処しながら、新しいタスクへの適応をさらに合理化するために利用できますか? EigenLoRAxは、既存のアダプタをリサイクルして、それらの共有ドメイン知識と整合した主部分空間を作成するパラメータ効率の高い微調整手法であり、低リソースシナリオにおいて直交基底ベクトルでさらに拡張することができる。 これにより、サブスペースの主成分の軽量係数のみを学習することで、アダプタ全体を微調整する必要がないため、新しいタスクへの迅速な適応が可能になる。 EigenLoRAxでは、パラメータとメモリが大幅に少なくなり、トレーニングと推論の効率が向上する。 提案手法は,エッジベースのアプリケーションやパーソナライゼーション,大規模モデルのリソース制約のある環境への均等な展開など,多様な領域やタスクにまたがるパフォーマンスを示す。

関連論文リスト

• ASLoRA: Adaptive Sharing Low-Rank Adaptation Across Layers [37.77593687901923]
  ASLoRAはグローバル共有と部分適応共有を組み合わせた多層パラメータ共有戦略である。 我々は様々なNLPタスクの実験を行い、パラメータの25%未満を使用しながら、ASLoRAがLoRAより優れていることを示した。
  論文  参考訳（メタデータ） (2024-12-13T13:32:13Z)
• RECAST: Reparameterized, Compact weight Adaptation for Sequential Tasks [16.512587987753967]
  RECASTはタスク固有のトレーニング可能なパラメータを50未満に劇的に削減する新しい手法である。 本稿では,RECASTが様々なスケール,アーキテクチャ,パラメータ空間において,最先端の技術を最大3%向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-25T19:08:38Z)
• Towards Optimal Adapter Placement for Efficient Transfer Learning [73.1149084352343]
  PETLは、トレーニング済みモデルを新しい下流タスクに適用し、微調整されたパラメータの数を最小化することを目的としている。 PETLの一般的なアプローチであるアダプタは、低ランクのプロジェクションを組み込むことで、既存のネットワークにさらなる容量を注入する。 本稿では,アダプタの配置と性能の関係について検討する。
  論文  参考訳（メタデータ） (2024-10-21T10:37:17Z)
• Retrieval Instead of Fine-tuning: A Retrieval-based Parameter Ensemble for Zero-shot Learning [22.748835458594744]
  Retrievalをベースとする。 Ensemble (RPE) - ベクトル化されたデータベースを作成する新しい方法。 Low-Rank Adaptations (LoRA) RPEは、広範囲なトレーニングの必要性を最小限に抑え、ラベル付きデータの要求を排除し、特にゼロショット学習に有効である。 RPEは、生のデータにアクセスせずにモデルパラメータを変更するため、ヘルスケアのようなプライバシに敏感なドメインに適している。
  論文  参考訳（メタデータ） (2024-10-13T16:28:38Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Efficient In-Domain Question Answering for Resource-Constrained Environments [0.07499722271664146]
  Retrieval Augmented Generation (RAG)は、事前訓練された大規模言語モデル(LLM)に外部知識を統合する方法である。 近年の研究では、これらの問題に対処するために微調整を使うことが成功している。 本研究では,RAFTとLoRAを組み合わせることで,微調整やストレージの要求を低減し,推論時間を短縮する。
  論文  参考訳（メタデータ） (2024-09-26T08:55:21Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models [7.926974917872204]
  LoRA-SPはランダム化半選択パラメータ凍結を利用した新しい手法である。 LoRA-SPは、モデル性能を損なうことなく、計算とメモリの要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-28T06:50:10Z)
• AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
  数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。 近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。 本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
  論文  参考訳（メタデータ） (2022-04-30T16:49:41Z)
• From Big to Small: Adaptive Learning to Partial-Set Domains [94.92635970450578]
  ドメイン適応は、分布シフト中のラベル付きソースドメインからラベルなしターゲットドメインへの知識獲得と普及を目標とする。 近年の進歩は、大規模の深層学習モデルにより、小規模の下流の多様な課題に取り組むための豊富な知識が得られていることを示している。 本稿では,学習パラダイムである部分領域適応(Partial Domain Adaptation, PDA)を紹介する。
  論文  参考訳（メタデータ） (2022-03-14T07:02:45Z)
• Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
  シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。 本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。 我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
  論文  参考訳（メタデータ） (2020-04-08T10:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。