論文の概要: LoRA-Gen: Specializing Large Language Model via Online LoRA Generation

• arxiv url: http://arxiv.org/abs/2506.11638v1
• Date: Fri, 13 Jun 2025 10:11:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.747591
• Title: LoRA-Gen: Specializing Large Language Model via Online LoRA Generation
• Title（参考訳）: LoRA-Gen:オンラインLoRA生成による大規模言語モデルの特化
• Authors: Yicheng Xiao, Lin Song, Rui Yang, Cheng Cheng, Yixiao Ge, Xiu Li, Ying Shan,
• Abstract要約: タスク記述に基づくエッジサイドモデルのLoRAパラメータを生成するためのLoRA-Genフレームワークを提案する。 フレキシブルな特殊化を実現するために,LoRAパラメータをエッジ側モデルにマージする。 本手法は,モデル間の知識伝達を容易にするとともに,特殊モデルの推論効率を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 68.01864057372067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances have highlighted the benefits of scaling language models to enhance performance across a wide range of NLP tasks. However, these approaches still face limitations in effectiveness and efficiency when applied to domain-specific tasks, particularly for small edge-side models. We propose the LoRA-Gen framework, which utilizes a large cloud-side model to generate LoRA parameters for edge-side models based on task descriptions. By employing the reparameterization technique, we merge the LoRA parameters into the edge-side model to achieve flexible specialization. Our method facilitates knowledge transfer between models while significantly improving the inference efficiency of the specialized model by reducing the input context length. Without specialized training, LoRA-Gen outperforms conventional LoRA fine-tuning, which achieves competitive accuracy and a 2.1x speedup with TinyLLaMA-1.1B in reasoning tasks. Besides, our method delivers a compression ratio of 10.1x with Gemma-2B on intelligent agent tasks.
• Abstract（参考訳）: 最近の進歩は、幅広いNLPタスクのパフォーマンスを向上させるために、言語モデルをスケーリングする利点を強調している。 しかしながら、これらのアプローチはドメイン固有のタスク、特に小さなエッジサイドモデルに適用する場合、有効性と効率の制限に直面している。 本稿では,大規模クラウドサイドモデルを用いて,タスク記述に基づくエッジサイドモデルのLoRAパラメータを生成するLoRA-Genフレームワークを提案する。 パラメータ化手法を用いることで,ロラパラメータをエッジ側モデルにマージし,フレキシブルな特殊化を実現する。 提案手法は,入力コンテキスト長を小さくすることで,特殊モデルの推論効率を大幅に向上させながら,モデル間の知識伝達を容易にする。 LoRA-Genは特別な訓練を受けずに従来のLoRAファインチューニングより優れており、TinyLLaMA-1.1Bの精度と2.1倍のスピードアップを実現している。 さらに,知的エージェントタスクにおいてGemma-2Bと10.1xの圧縮比を提供する。

関連論文リスト

• In-Context Meta LoRA Generation [61.690065588534296]
  Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
  論文  参考訳（メタデータ） (2025-01-29T13:12:01Z)
• ASLoRA: Adaptive Sharing Low-Rank Adaptation Across Layers [37.77593687901923]
  ASLoRAはグローバル共有と部分適応共有を組み合わせた多層パラメータ共有戦略である。 我々は様々なNLPタスクの実験を行い、パラメータの25%未満を使用しながら、ASLoRAがLoRAより優れていることを示した。
  論文  参考訳（メタデータ） (2024-12-13T13:32:13Z)
• Task-Specific Directions: Definition, Exploration, and Utilization in Parameter Efficient Fine-Tuning [65.31677646659895]
  大規模な言語モデルは、下流タスクで素晴らしいパフォーマンスを示すが、全てのパラメータを完全に微調整する場合は、リソース消費がかなり必要である。 本稿では,タスク固有の方向(TSD)を明確に定義するフレームワークを提案し,その特性と実用化の課題について検討する。 次に、微調整過程におけるTLDの影響を最大化する新しいアプローチであるLoRA-Dashを導入する。
  論文  参考訳（メタデータ） (2024-09-02T08:10:51Z)
• Enhancing Parameter Efficiency and Generalization in Large-Scale Models: A Regularized and Masked Low-Rank Adaptation Approach [10.980433187379868]
  低ランク適応(LoRA)は、良好な微調整結果を維持しつつ、資源消費を減らすために開発された。 本稿では,LoRA法により近似された行列更新の本質的な次元について検討し,本質的な次元を増大させることによる性能上の利点を明らかにする。
  論文  参考訳（メタデータ） (2024-07-16T15:26:31Z)
• Unlocking the Global Synergies in Low-Rank Adapters [20.32980343066711]
  低ランク適応(LoRA)は、大規模言語モデルのためのデファクトパラメータ効率の高い微調整技術である。 本稿では、ゼロコストプロキシを利用して限られたLoRAトレーニングパラメータを割り当てる軽量探索アルゴリズムであるHeteroLoRAを提案する。 実験の結果、HeteroLoRAは同じパラメータのバッジでモデルパフォーマンスを改善することができることがわかった。
  論文  参考訳（メタデータ） (2024-06-21T08:10:03Z)
• LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models [7.926974917872204]
  LoRA-SPはランダム化半選択パラメータ凍結を利用した新しい手法である。 LoRA-SPは、モデル性能を損なうことなく、計算とメモリの要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-28T06:50:10Z)
• Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
  本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。 計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-08T14:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。