論文の概要: LoRA Fine-Tuning Without GPUs: A CPU-Efficient Meta-Generation Framework for LLMs

• arxiv url: http://arxiv.org/abs/2507.01806v1
• Date: Wed, 02 Jul 2025 15:24:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.356267
• Title: LoRA Fine-Tuning Without GPUs: A CPU-Efficient Meta-Generation Framework for LLMs
• Title（参考訳）: GPUのないLoRAファインチューニング: LLMのためのCPU効率の良いメタ生成フレームワーク
• Authors: Reza Arabpour, Haitz Sáez de Ocáriz Borde, Anastasis Kratsios,
• Abstract要約: Low-Rank Adapters (LoRA) は、パラメータ効率の更新を可能にすることで、Large Language Models (LLM) の微調整を変革した。 本稿では,限られた計算資源を持つユーザを対象としたLoRAファインタニング手法を提案する。
• 参考スコア（独自算出の注目度）: 8.397730500554047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adapters (LoRAs) have transformed the fine-tuning of Large Language Models (LLMs) by enabling parameter-efficient updates. However, their widespread adoption remains limited by the reliance on GPU-based training. In this work, we propose a theoretically grounded approach to LoRA fine-tuning designed specifically for users with limited computational resources, particularly those restricted to standard laptop CPUs. Our method learns a meta-operator that maps any input dataset, represented as a probability distribution, to a set of LoRA weights by leveraging a large bank of pre-trained adapters for the Mistral-7B-Instruct-v0.2 model. Instead of performing new gradient-based updates, our pipeline constructs adapters via lightweight combinations of existing LoRAs directly on CPU. While the resulting adapters do not match the performance of GPU-trained counterparts, they consistently outperform the base Mistral model on downstream tasks, offering a practical and accessible alternative to traditional GPU-based fine-tuning.
• Abstract（参考訳）: Low-Rank Adapters (LoRA) は、パラメータ効率の更新を可能にすることで、Large Language Models (LLM) の微調整を変革した。 しかし、GPUベースのトレーニングへの依存により、広く採用されていることは依然として限られている。 本稿では,計算資源が限られているユーザ,特に標準ラップトップCPUに限られているユーザを対象とした,LoRAファインタニングに関する理論的基礎的なアプローチを提案する。 提案手法は,Mistral-7B-Instruct-v0.2モデルに対して,事前学習した多数のアダプタを用いて,任意の入力データセットを,確率分布として表現したLoRA重みの集合にマッピングするメタ演算子を学習する。 新しい勾配ベースの更新を実行する代わりに、パイプラインはCPU上で既存のLoRAの軽量な組み合わせを通じてアダプタを構築します。 結果として得られるアダプタはGPU訓練済みのアダプタのパフォーマンスにマッチしないが、ダウンストリームタスクのベースMistralモデルよりも一貫して優れており、従来のGPUベースの微調整に代わる実用的な代替手段を提供する。

関連論文リスト

• MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts [3.6301530893494127]
  MixLoRAは、リソース効率の良いスパースMoEモデルを構築するためのアプローチである。 評価の結果,MixLoRAはマルチタスク学習シナリオにおける最先端PEFT法と比較して約9%精度が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-04-22T02:15:52Z)
• Training Neural Networks from Scratch with Parallel Low-Rank Adapters [46.764982726136054]
  計算ノード間の複数の低ランクヘッドの並列トレーニングを実現するために設計された,新しい双方向最適化アルゴリズムである LoRA-the-Explorer (LTE) を導入する。 我々のアプローチには、様々なビジョンデータセットを用いたビジョントランスフォーマーの広範な実験が含まれており、LTEが標準の事前トレーニングと競合していることが示されている。
  論文  参考訳（メタデータ） (2024-02-26T18:55:13Z)
• mLoRA: Fine-Tuning LoRA Adapters via Highly-Efficient Pipeline Parallelism in Multiple GPUs [5.735411578779657]
  Low-Rank Adaptation (LoRA) はパラメータ効率のよい微調整法で、ベースLSMを複数の下流タスクに適応させるのに使われる。 LoRAプラットフォームにより、開発者は複数のモデルを微調整し、さまざまなドメイン固有のアプリケーションを同時に開発できる。 既存のモデル並列化スキームは、複数のLoRAタスクをトレーニングする際に、高い通信オーバーヘッドと非効率なGPU利用に悩まされる。
  論文  参考訳（メタデータ） (2023-12-05T05:38:38Z)
• S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
  パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。 本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
  論文  参考訳（メタデータ） (2023-11-06T17:26:17Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。