論文の概要: Semantic-guided LoRA Parameters Generation

• arxiv url: http://arxiv.org/abs/2509.10535v1
• Date: Fri, 05 Sep 2025 14:43:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-21 06:05:45.794686
• Title: Semantic-guided LoRA Parameters Generation
• Title（参考訳）: 意味誘導型LORAパラメータ生成
• Authors: Miaoge Li, Yang Chen, Zhijie Rao, Can Jiang, Jingcai Guo,
• Abstract要約: Low-Rank Adaptation (LoRA)は、AIモデルを効率的に微調整するために、さまざまなタスクにまたがる強力な一般化機能を示している。 SG-LoRAは、ユーザタスクのトレーニングやユーザ固有のデータへのアクセスを必要とせずに、ユーザ固有のLoRAを効率的に生成する、同社初のフレームワークである。 SG-LoRAは、著名なLoRA専門家の知識を蒸留することで、個々の意図に沿ったLoRAモデルのリアルタイム構築を可能にする。
• 参考スコア（独自算出の注目度）: 22.648880814012184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) has demonstrated strong generalization capabilities across a variety of tasks for efficiently fine-tuning AI models, especially on resource-constrained edges. However, in real-world applications, edge users often exhibit task-specific preferences that are difficult to handle with a unified model trained under a closed-world assumption, and the challenge may further increase when there are significant domain shifts between training and deployment. Meanwhile, retraining/fine-tuning models for each user is also impractical due to its cost-intensive nature and privacy concerns over raw data utilization from edges. To address these challenges, we propose Semantic-guided LoRA Parameter Generation (SG-LoRA), the first of its kind framework to efficiently produce user-specific LoRA parameters without any additional training on user tasks or access to user-specific data. Concretely, SG-LoRA uses task descriptions as the semantic bridge, measuring their proximity to a set of known expert tasks in a shared embedding space. Based on this semantic guidance, it models the target task's LoRA parameter distribution to generate high-performing parameters for novel tasks. SG-LoRA enables the real-time construction of LoRA models aligned with individual intents by distilling knowledge from prominent LoRA experts and, meanwhile, offering a privacy-preserving solution for personalized model adaptation in a novel zero-shot open-world setting proposed in this work. Extensive experiments on multiple challenging tasks confirm the superior performance and remarkable adaptability of SG-LoRA. Code is available at https://github.com/keepgoingjkg/SG-LoRA.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、特にリソース制約のあるエッジにおいて、AIモデルを効率的に微調整するためのさまざまなタスクにわたって強力な一般化能力を示している。 しかし、現実世界のアプリケーションでは、エッジユーザはクローズドワールドの前提の下でトレーニングされた統一モデルを扱うのが難しいタスク固有の好みを示すことが多く、トレーニングとデプロイメントの間に大きなドメインシフトがある場合、さらに課題が増加する可能性がある。 一方、各ユーザに対するトレーニング/ファインチューニングモデルは、コスト集約的な性質とエッジからの生データ利用に対するプライバシー上の懸念のため、実用的ではない。 これらの課題に対処するために,ユーザタスクやユーザ固有のデータへのアクセスを付加することなく,ユーザ固有のLoRAパラメータを効率的に生成する,Semantic-Guided LoRAパラメータ生成(SG-LoRA)を提案する。 具体的には、SG-LoRAはタスク記述をセマンティックブリッジとして使用し、共有埋め込み空間における既知の専門家タスクの集合に近接するかどうかを測定する。 このセマンティックガイダンスに基づいて、ターゲットタスクのLoRAパラメータ分布をモデル化し、新規タスクの高性能パラメータを生成する。 SG-LoRAは、著名なLoRA専門家の知識を抽出することで、個々の意図に沿ったLoRAモデルのリアルタイム構築を可能にすると同時に、この研究で提案された新たなゼロショットオープンワールド設定において、パーソナライズされたモデル適応のためのプライバシ保護ソリューションを提供する。 複数の課題に対する大規模な実験により、SG-LoRAの優れた性能と顕著な適応性が確認された。 コードはhttps://github.com/keepgoingjkg/SG-LoRAで公開されている。

関連論文リスト

• Adaptive LoRA Experts Allocation and Selection for Federated Fine-Tuning [12.733972494875713]
  Federated Learning(FL)は、プライバシ保護ソリューションを提供するが、計算制約による課題に直面している。 Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整手法として登場した。 我々は、ドメイン固有のLoRAエキスパートを割り当て、訓練するための表現類似性に基づいてクライアントを適応的にクラスタ化する新しいフレームワークであるFedLEASEを提案する。
  論文  参考訳（メタデータ） (2025-09-18T15:43:33Z)
• LoRA-Gen: Specializing Large Language Model via Online LoRA Generation [68.01864057372067]
  タスク記述に基づくエッジサイドモデルのLoRAパラメータを生成するためのLoRA-Genフレームワークを提案する。 フレキシブルな特殊化を実現するために,LoRAパラメータをエッジ側モデルにマージする。 本手法は,モデル間の知識伝達を容易にするとともに,特殊モデルの推論効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-06-13T10:11:01Z)
• In-Context Meta LoRA Generation [61.690065588534296]
  Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
  論文  参考訳（メタデータ） (2025-01-29T13:12:01Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。