論文の概要: PLoP: Precise LoRA Placement for Efficient Finetuning of Large Models

• arxiv url: http://arxiv.org/abs/2506.20629v1
• Date: Wed, 25 Jun 2025 17:25:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.876688
• Title: PLoP: Precise LoRA Placement for Efficient Finetuning of Large Models
• Title（参考訳）: PLoP:大規模モデルの効率的なファインタニングのための高精度ロラ配置
• Authors: Soufiane Hayou, Nikhil Ghosh, Bin Yu,
• Abstract要約: Low-Rank Adaptation (LoRA) は大規模モデルに広く用いられている微調整法である。 PLoP(Precise LoRA Placement)は,アダプタの自動識別を実現する軽量な手法である。 PLoPは一貫して優れており、最悪の場合、一般的に使われている配置戦略と競合する。
• 参考スコア（独自算出の注目度）: 13.074320303580361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) is a widely used finetuning method for large models. Its small memory footprint allows practitioners to adapt large models to specific tasks at a fraction of the cost of full finetuning. Different modifications have been proposed to enhance its efficiency by, for example, setting the learning rate, the rank, and the initialization. Another improvement axis is adapter placement strategy: when using LoRA, practitioners usually pick module types to adapt with LoRA, such as Query and Key modules. Few works have studied the problem of adapter placement, with nonconclusive results: original LoRA paper suggested placing adapters in attention modules, while other works suggested placing them in the MLP modules. Through an intuitive theoretical analysis, we introduce PLoP (Precise LoRA Placement), a lightweight method that allows automatic identification of module types where LoRA adapters should be placed, given a pretrained model and a finetuning task. We demonstrate that PLoP consistently outperforms, and in the worst case competes, with commonly used placement strategies through comprehensive experiments on supervised finetuning and reinforcement learning for reasoning.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は大規模モデルに広く用いられている微調整法である。 その小さなメモリフットプリントにより、実践者は大きなモデルを特定のタスクに完全に微調整するコストのごく一部で適応することができる。 例えば、学習率、ランク、初期化の設定などによって効率を高めるために異なる修正が提案されている。 もうひとつの改善軸はアダプタ配置戦略である – LoRAを使用する場合,クエリやキーモジュールなど,通常はLoRAに適応するモジュールタイプを選択する。 初期のLoRA論文ではアダプティブをアダプティブモジュールに配置することを提案したが、他の研究ではMLPモジュールにアダプタを配置することを提案した。 PLoP(Precise LoRA Placement)は,プリトレーニング済みモデルと微調整タスクを前提として,LoRAアダプタを配置すべきモジュールタイプを自動的に識別する軽量な手法である。 我々はPLoPが一貫して優れており、最悪の場合、教師付き微調整と推論のための強化学習に関する総合的な実験を通じて、一般的に使われている配置戦略と競合することを示した。

関連論文リスト

• DiffoRA: Enabling Parameter-Efficient Fine-Tuning via Differential Module Selection [32.369133126167085]
  Low-Rank Adaptation (LoRA) は、既存のトレーニング済みモデルに低ランク行列を組み込むことで、その合理化設計で人気を博している。 本稿では,低ランク分解行列を適応的に適用可能なDiffoRAを提案する。
  論文  参考訳（メタデータ） (2025-02-13T02:41:34Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
  本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。 計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-08T14:26:49Z)
• One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning [34.109808214968176]
  Generalized LoRA (GLoRA) は、汎用パラメータ効率の微調整タスクのための先進的なアプローチである。 一般化されたプロンプトモジュールを使用して、事前訓練されたモデルの重量を最適化し、中間活性化を調整する。 GLoRAは、強力な転送学習、少数ショット学習、ドメイン一般化能力を示す。
  論文  参考訳（メタデータ） (2023-06-13T17:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。