論文の概要: Cross-LoRA: A Data-Free LoRA Transfer Framework across Heterogeneous LLMs

• arxiv url: http://arxiv.org/abs/2508.05232v1
• Date: Thu, 07 Aug 2025 10:21:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 18:59:39.808928
• Title: Cross-LoRA: A Data-Free LoRA Transfer Framework across Heterogeneous LLMs
• Title（参考訳）: Cross-LoRA: 異種LLM間のデータフリーなロラ転送フレームワーク
• Authors: Feifan Xia, Mingyang Liao, Yuyang Fang, Defang Li, Yantong Xie, Weikang Li, Yang Li, Deguo Xia, Jizhou Huang,
• Abstract要約: Cross-LoRAは、さまざまなベースモデル間でLoRAモジュールを転送するためのフレームワークである。 実験の結果、クロスロラはベースモデルよりも5.26%の相対的なゲインを達成している。
• 参考スコア（独自算出の注目度）: 10.218401136555064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional parameter-efficient fine-tuning (PEFT) methods such as LoRA are tightly coupled with the base model architecture, which constrains their applicability across heterogeneous pretrained large language models (LLMs). To address this limitation, we introduce Cross-LoRA, a data-free framework for transferring LoRA modules between diverse base models without requiring additional training data. Cross-LoRA consists of two key components: (a) LoRA-Align, which performs subspace alignment between source and target base models through rank-truncated singular value decomposition (SVD) and Frobenius-optimal linear transformation, ensuring compatibility under dimension mismatch; and (b) LoRA-Shift, which applies the aligned subspaces to project source LoRA weight updates into the target model parameter space. Both components are data-free, training-free, and enable lightweight adaptation on a commodity GPU in 20 minutes. Experiments on ARCs, OBOA and HellaSwag show that Cross-LoRA achieves relative gains of up to 5.26% over base models. Across other commonsense reasoning benchmarks, Cross-LoRA maintains performance comparable to that of directly trained LoRA adapters.
• Abstract（参考訳）: LoRAのような従来のパラメータ効率の良い微細チューニング(PEFT)手法は、ベースモデルアーキテクチャと密結合しており、不均一な事前訓練された大規模言語モデル(LLM)に適用性を制限する。 この制限に対処するため,さまざまなベースモデル間でLoRAモジュールを転送するためのデータフリーフレームワークであるCross-LoRAを導入する。 Cross-LoRAは2つの重要なコンポーネントから構成される。 (a)LoRA-Alignは、階数切り離された特異値分解(SVD)とフロベニウス最適線形変換を通じてソースモデルとターゲットベースモデルの間の部分空間アライメントを行い、次元ミスマッチ下での整合性を確保する。 (b)LoRA-Shiftは、プロジェクトソースのLoRA重み付けにアライメント部分空間を適用し、ターゲットモデルパラメータ空間に更新する。 どちらのコンポーネントもデータフリーで、トレーニング不要で、コモディティGPUへの軽量な適応を20分で実現している。 ARC、OBOA、HellaSwagの実験では、Cross-LoRAはベースモデルよりも最大5.26%向上している。 他の常識推論ベンチマークと同様に、Cross-LoRAは直接訓練されたLoRAアダプタに匹敵する性能を維持している。

関連論文リスト

• AutoLoRA: Automatic LoRA Retrieval and Fine-Grained Gated Fusion for Text-to-Image Generation [32.46570968627392]
  低ランク適応(LoRA)は、最小パラメータオーバーヘッドでモデルのカスタマイズを可能にする効果を実証している。 意味駆動型LoRA検索と動的アグリゲーションを可能にする新しいフレームワークを提案する。 提案手法は画像生成のパーフェマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2025-08-04T06:36:00Z)
• Uni-LoRA: One Vector is All You Need [13.938834666101679]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。 本稿では,これらの LoRA 変種が用いたパラメータ空間削減戦略を統一的な枠組みで定式化できることを示す。 Uni-LoRAの統一的なビューの下では、LLM全体のLoRAパラメータを再構築するためには、単一のトレーニング可能なベクトルしか必要としない。
  論文  参考訳（メタデータ） (2025-06-01T03:00:09Z)
• Activated LoRA: Fine-tuned LLMs for Intrinsics [9.503174205896533]
  Low-Rank Adaptation (LoRA) は、大規模基盤モデルの重みを微調整するための高効率なフレームワークとして登場した。 アクティベートされたLoRA (aLoRA) は、aLoRAが呼び出された後のシーケンス内のトークンの重みにのみ適応するようにLoRAフレームワークを変更するアダプタアーキテクチャである。 この変更により、aLoRAは入力文字列のベースモデルのKVキャッシュを受け入れることができる。
  論文  参考訳（メタデータ） (2025-04-16T18:03:21Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• LoRA-X: Bridging Foundation Models with Training-Free Cross-Model Adaptation [48.22550575107633]
  新しいアダプタであるCross-Model Low-Rank Adaptation (LoRA-X)は、ソースモデルとターゲットモデル間のLoRAパラメータのトレーニング不要転送を可能にする。 本実験は,テキスト・ツー・イメージ生成におけるLoRA-Xの有効性を示す。
  論文  参考訳（メタデータ） (2025-01-27T23:02:24Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters [11.23006032094776]
  トレーニング可能なパラメータを格段に削減し,優れた性能と競争性能を示すLoRA-XSを提案する。 LoRA-XSは、LoRAと比較して、トレーニング可能なパラメータを7Bモデルで100倍以上削減する。
  論文  参考訳（メタデータ） (2024-05-27T19:07:13Z)
• CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices [78.16679232748196]
  本稿では,Large Language Models (LLM) を他のタスクに転送するための圧縮対応 LoRA (CA-LoRA) フレームワークを提案する。 実験の結果,CA-LoRAは圧縮LDMに適用したバニラロラ法よりも優れていた。 CA-LoRAのソースコードはhttps://github.com/thunlp/CA-LoRAで公開されている。
  論文  参考訳（メタデータ） (2023-07-15T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。