論文の概要: LoRALib: A Standardized Benchmark for Evaluating LoRA-MoE Methods

• arxiv url: http://arxiv.org/abs/2509.18137v1
• Date: Sun, 14 Sep 2025 16:33:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.408209
• Title: LoRALib: A Standardized Benchmark for Evaluating LoRA-MoE Methods
• Title（参考訳）: LoRALib: LoRA-MoE メソッド評価のための標準化されたベンチマーク
• Authors: Shaoheng Wang, Yao Lu, Yuqi Li, Yaxin Gao, Jiaqi Nie, Shanqing Yu, Yingli Tian, Qi Xuan,
• Abstract要約: 低ランク適応(LoRA)はストレージとコンピューティングの大幅なコストを削減できる。 既存の作業は、LoRAとMixix-of-experts (MoE)を組み合わせることで、モデルの適応性を高める。
• 参考スコア（独自算出の注目度）: 25.33058123719788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a parameter efficient fine-tuning (PEFT) method, low-rank adaptation (LoRA) can save significant costs in storage and computing, but its strong adaptability to a single task is often accompanied by insufficient cross-task generalization capabilities. To improve this, existing work combines LoRA with mixture-of-experts (MoE) to enhance the model's adaptability through expert modules and routing mechanisms. However, existing LoRA-MoE methods lack unified standards in models, datasets, hyperparameters, and evaluation methods, making it difficult to conduct fair comparisons between different methods. To this end, we proposed a unified benchmark named LoRALib. Specifically, we standardized datasets from $40$ downstream tasks into a unified format, fine-tuned them using the same hyperparameters and obtained $680$ LoRA modules across $17$ model architectures. Based on this LoRA library, we conduct large-scale experiments on $3$ representative LoRA-MoE methods and different LoRA selection mechanisms using the open-sourced testing tool OpenCompass. Extensive experiments show that LoRAMoE performs best, and that prioritizing LoRAs relevant to the target task can further improve the performance of MoE. We hope these findings will inspire future work. Our datasets and LoRA library are available at https://huggingface.co/datasets/YaoLuzjut/LoRAOcean_dataset and https://huggingface.co/YaoLuzjut/models.
• Abstract（参考訳）: パラメータ効率のよい微細チューニング(PEFT)手法として、ローランク適応(LoRA)はストレージとコンピューティングの大幅なコストを削減できるが、単一タスクへの強い適応性には、クロスタスクの一般化能力の不足が伴うことが多い。 これを改善するために、既存の作業はLoRAとMix-of-experts (MoE)を組み合わせて、エキスパートモジュールとルーティングメカニズムを通じてモデルの適応性を高める。 しかし、既存のLoRA-MoE法では、モデル、データセット、ハイパーパラメータ、評価方法の統一された標準が欠如しており、異なる方法間の公正な比較が困難である。 そこで我々はLoRALibという統一ベンチマークを提案した。 具体的には、40ドルのダウンストリームタスクからのデータセットを統一されたフォーマットに標準化し、同じハイパーパラメータを使って微調整し、17ドルのモデルアーキテクチャで680ドルのLoRAモジュールを取得しました。 この LoRA ライブラリをベースとして,オープンソースのテストツール OpenCompass を用いて,代表的 LoRA-MoE メソッドと異なる LoRA 選択機構の大規模実験を行う。 大規模な実験により、LoRAMoEは最高の性能を示し、目標タスクに関連するLoRAの優先順位付けにより、MoEの性能がさらに向上することが示された。 これらの発見が今後の研究を刺激することを期待している。 私たちのデータセットとLoRAライブラリは、https://huggingface.co/datasets/YaoLuzjut/LoRAOcean_datasetとhttps://huggingface.co/YaoLuzjut/modelsで利用可能です。

関連論文リスト

• In-Context Meta LoRA Generation [61.690065588534296]
  Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
  論文  参考訳（メタデータ） (2025-01-29T13:12:01Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning [9.91790333647256]
  低ランク適応法(LoRA)とその混合実験法(MOE)は,高効率なパラメータ効率微調整法(PEFT)である。 新規かつ効率的なLoRA変種であるMiLoRAを提案する。 MiLoRAは、各LoRAモジュールを専門家として考慮し、プロンプト対応のルーティング機構を採用することで、従来のMOEスタイルのLoRAメソッドと異なる。
  論文  参考訳（メタデータ） (2024-10-23T17:04:40Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• Unlocking the Global Synergies in Low-Rank Adapters [20.32980343066711]
  低ランク適応(LoRA)は、大規模言語モデルのためのデファクトパラメータ効率の高い微調整技術である。 本稿では、ゼロコストプロキシを利用して限られたLoRAトレーニングパラメータを割り当てる軽量探索アルゴリズムであるHeteroLoRAを提案する。 実験の結果、HeteroLoRAは同じパラメータのバッジでモデルパフォーマンスを改善することができることがわかった。
  論文  参考訳（メタデータ） (2024-06-21T08:10:03Z)
• $\textit{Trans-LoRA}$: towards data-free Transferable Parameter Efficient Finetuning [28.668326340001695]
  低ランクアダプタ(LoRA)とその変種はパラメータ効率の良い微調整技術として人気がある。 ベースモデルを新しいモデルに置き換える必要がある場合、関連するすべてのLoRAモジュールを再トレーニングする必要がある。 LoRAモジュールとベースモデルがサービスプロバイダによってホストされている商用クラウドアプリケーションには特に問題があります。
  論文  参考訳（メタデータ） (2024-05-27T15:15:08Z)
• VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks [10.266224162377371]
  ローランク適応(LoRA)とその派生型は、かなりのストレージと送信コストを発生させる。 我々は,行列次元,モジュール,レイヤ間の低ランク分解の障壁を断ち切る「分割共有」パラダイムを導入する。 VB-LoRAは、最先端PEFT法と比較して、同等または優れた性能を維持しながら、極端なパラメータ効率を達成する。
  論文  参考訳（メタデータ） (2024-05-24T03:24:34Z)
• CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices [78.16679232748196]
  本稿では,Large Language Models (LLM) を他のタスクに転送するための圧縮対応 LoRA (CA-LoRA) フレームワークを提案する。 実験の結果,CA-LoRAは圧縮LDMに適用したバニラロラ法よりも優れていた。 CA-LoRAのソースコードはhttps://github.com/thunlp/CA-LoRAで公開されている。
  論文  参考訳（メタデータ） (2023-07-15T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。