論文の概要: Adaptive LoRA Merge with Parameter Pruning for Low-Resource Generation

• arxiv url: http://arxiv.org/abs/2505.24174v1
• Date: Fri, 30 May 2025 03:34:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.752479
• Title: Adaptive LoRA Merge with Parameter Pruning for Low-Resource Generation
• Title（参考訳）: 低資源化のためのパラメータプルーニングを用いた適応LoRAマージ
• Authors: Ryota Miyano, Yuki Arase,
• Abstract要約: LoRAマージ技術は、異なるタスクでトレーニングされた複数のLoRAモジュールを統合する。 以前の方法はLoRAパラメータを凍結し続けるため、適応性に制限がある。 最小限のタスクデータを用いた微調整によりLoRAパラメータを更新およびプーンするLoRAマージ手法を提案する。
• 参考スコア（独自算出の注目度）: 9.156064716689833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study proposes a simple yet effective LoRA merge method to achieve LLM adaptation for low-resource language generation tasks. The LoRA merge technique, which integrates multiple LoRA modules trained on different tasks, has gained attention as an effective and efficient approach for adapting LLMs to target tasks. However, previous methods are limited in adaptability as they keep the LoRA parameters frozen. Additionally, the low-resource problem has been out of their scope. We propose a LoRA merge method that updates and prunes LoRA parameters through fine-tuning with minimal target task data, which allows finer-grained adjustments of LoRA parameters and enhancement of task adaptability. Extensive experiments have been conducted taking summarization as a benchmark task. Our datasets cover various domains and multiple languages of English and Japanese. The results confirm that the proposed method achieves significant and consistent improvements in task adaptability over the previous methods.
• Abstract（参考訳）: 本研究では,低リソース言語生成タスクに対するLLM適応を実現するため,シンプルなLoRAマージ手法を提案する。 異なるタスクで訓練された複数のLoRAモジュールを統合するLoRAマージ技術は、LLMを目標タスクに適用するための効率的かつ効率的なアプローチとして注目されている。 しかし、従来の手法はLoRAパラメータを凍結し続けるため、適応性に制限がある。 さらに、低リソースの問題はスコープ外になっています。 本稿では,LoRAパラメータの微調整とタスク適応性の向上を実現するため,最小限のタスクデータを用いた微調整により,LoRAパラメータの更新と更新を行うLoRAマージ手法を提案する。 ベンチマークタスクとして要約を取り入れた大規模な実験が実施されている。 我々のデータセットは、様々なドメインと、英語と日本語の多言語をカバーしています。 提案手法は,従来の手法に比べてタスク適応性が大きく,一貫した改善を実現していることを確認した。

関連論文リスト

• In-Context Meta LoRA Generation [61.690065588534296]
  Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
  論文  参考訳（メタデータ） (2025-01-29T13:12:01Z)
• LoRA-Mini : Adaptation Matrices Decomposition and Selective Training [2.0670689746336]
  Low-Rank Adaptation (LoRA)は、トレーニング可能なパラメータの数を減らし、パラメータ効率の良い微調整を可能にする、有望なソリューションとして登場した。 低ランク行列を4つに分割することでパラメータ効率を向上させるLoRAを最適化したLoRA-Miniを提案する。 このアプローチは、標準のLoRAに匹敵するパフォーマンスレベルを維持しながら、トレーニング可能なパラメータの数に対して、標準のLoRAと比較して最大20倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-11-24T12:21:14Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models [10.179598253424103]
  大規模言語モデル(LLM)は様々なタスクで堅牢なパフォーマンスを実現していますが、これらのモデルを特定のドメイン向けに微調整することはリソース集約的です。 5Mパラメータしか持たないミニMLPモジュールを提案し、トップpサンプリング戦略を用いて文レベルで複数のLoRAを動的に融合する。 このアプローチは、並列計算を利用することで、単一のLoRA推論の2倍未満まで推論時間を短縮する。
  論文  参考訳（メタデータ） (2024-10-02T12:45:52Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。