Fugu-MT 論文翻訳(概要): One Head Eight Arms: Block Matrix based Low Rank Adaptation for CLIP-based Few-Shot Learning

論文の概要: One Head Eight Arms: Block Matrix based Low Rank Adaptation for CLIP-based Few-Shot Learning

arxiv url: http://arxiv.org/abs/2501.16720v1
Date: Tue, 28 Jan 2025 05:54:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-29 16:42:40.629370
Title: One Head Eight Arms: Block Matrix based Low Rank Adaptation for CLIP-based Few-Shot Learning
Title（参考訳）: 片頭八腕:CLIPに基づくFew-Shot学習のためのブロック行列に基づく低ランク適応
Authors: Chunpeng Zhou, Qianqian Shen, Zhi Yu, Jiajun Bu, Haishuai Wang,
Abstract要約: 本稿では,ビジョン・ランゲージ・ファンデーション・モデルのためのブロック行列に基づく低ランク適応フレームワークBlock-LoRAを提案する。また,Block-LoRAは,最先端のCLIPベースの複数ショット方式と比較して,競合性能が向上していることを示す。
参考スコア（独自算出の注目度）: 11.724194320966959
License:
Abstract: Recent advancements in fine-tuning Vision-Language Foundation Models (VLMs) have garnered significant attention for their effectiveness in downstream few-shot learning tasks.While these recent approaches exhibits some performance improvements, they often suffer from excessive training parameters and high computational costs. To address these challenges, we propose a novel Block matrix-based low-rank adaptation framework, called Block-LoRA, for fine-tuning VLMs on downstream few-shot tasks. Inspired by recent work on Low-Rank Adaptation (LoRA), Block-LoRA partitions the original low-rank decomposition matrix of LoRA into a series of sub-matrices while sharing all down-projection sub-matrices. This structure not only reduces the number of training parameters, but also transforms certain complex matrix multiplication operations into simpler matrix addition, significantly lowering the computational cost of fine-tuning. Notably, Block-LoRA enables fine-tuning CLIP on the ImageNet few-shot benchmark using a single 24GB GPU. We also show that Block-LoRA has the more tighter bound of generalization error than vanilla LoRA. Without bells and whistles, extensive experiments demonstrate that Block-LoRA achieves competitive performance compared to state-of-the-art CLIP-based few-shot methods, while maintaining a low training parameters count and reduced computational overhead.
Abstract（参考訳）: 近年の微調整型ビジョン・ランゲージ・ファンデーション・モデル(VLM)の進歩は、下流での数ショット学習における有効性に大きな注目を集めているが、近年のアプローチではいくつかの性能向上が見られるが、過度なトレーニングパラメータと高い計算コストに悩まされることが多い。これらの課題に対処するために、下流数ショットタスクでVLMを微調整するBlock-LoRAと呼ばれる新しいBlock行列ベースの低ランク適応フレームワークを提案する。 LoRA(Lo-Rank Adaptation)に関する最近の研究から着想を得たBlock-LoRAは、LoRAのオリジナルの低ランク分解行列を一連のサブ行列に分割し、すべてのダウンプロジェクションサブ行列を共有している。この構造は、トレーニングパラメータの数を減少させるだけでなく、複雑な行列乗算演算を単純な行列加算に変換することで、微調整の計算コストを大幅に削減する。特に、Block-LoRAは、単一の24GBのGPUを使用して、ImageNetのいくつかのショットベンチマークでCLIPを微調整できる。また、Block-LoRAはバニラロラよりもより厳密な一般化誤差を持つことを示す。ベルやホイッスルを使わずに、Block-LoRAは最先端のCLIPベースの数ショット法と比較して、低いトレーニングパラメータのカウントと計算オーバーヘッドの削減を図りながら、競争力を発揮することを示した。

関連論文リスト

Dynamic Low-Rank Sparse Adaptation for Large Language Models [54.1231638555233]
Low-rank Sparse Adaptation (LoSA)は、低ランク適応をsparse LLM sparsityにシームレスに統合する新しい手法である。 LoSAは、微調整中に対応するスパース重みに基づいてLoRA結果を動的に分散する。 LoSAは、追加の推論負荷を伴わずに、スパースLSMの有効性を数時間で効果的に向上させることができる。
論文参考訳（メタデータ） (2025-02-20T18:37:32Z)
CLoQ: Enhancing Fine-Tuning of Quantized LLMs via Calibrated LoRA Initialization [2.975939846457057]
低ランク適応 (LoRA) を用いた細調整型大規模言語モデル (LLM) は, 下流タスクにおいて極めて効率的なアプローチとなっている。量子化LLMにLoRA技術を適用すると、量子化重みの表現精度が低下するため、ユニークな課題が生じる。 CLoQは、これらの課題を克服するために設計された、単純化された初期化戦略である。
論文参考訳（メタデータ） (2025-01-30T16:48:15Z)
LoRA-Mini : Adaptation Matrices Decomposition and Selective Training [2.0670689746336]
Low-Rank Adaptation (LoRA)は、トレーニング可能なパラメータの数を減らし、パラメータ効率の良い微調整を可能にする、有望なソリューションとして登場した。低ランク行列を4つに分割することでパラメータ効率を向上させるLoRAを最適化したLoRA-Miniを提案する。このアプローチは、標準のLoRAに匹敵するパフォーマンスレベルを維持しながら、トレーニング可能なパラメータの数に対して、標準のLoRAと比較して最大20倍の削減を実現している。
論文参考訳（メタデータ） (2024-11-24T12:21:14Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
論文参考訳（メタデータ） (2024-07-25T17:57:12Z)
From GaLore to WeLore: How Low-Rank Weights Non-uniformly Emerge from Low-Rank Gradients [86.40635601953446]
現代大規模言語モデルの様々な層にまたがる低ランク構造の出現について検討する。 WeLore(Weight Low-Rank Projection)を提案する。
論文参考訳（メタデータ） (2024-07-15T21:05:20Z)
LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters [11.23006032094776]
トレーニング可能なパラメータを格段に削減し,優れた性能と競争性能を示すLoRA-XSを提案する。 LoRA-XSは、LoRAと比較して、トレーニング可能なパラメータを7Bモデルで100倍以上削減する。
論文参考訳（メタデータ） (2024-05-27T19:07:13Z)
Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
論文参考訳（メタデータ） (2024-03-18T23:20:08Z)
Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文参考訳（メタデータ） (2024-01-08T14:26:49Z)
Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
論文参考訳（メタデータ） (2023-12-06T10:54:34Z)
LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
論文参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。