論文の概要: MTA: A Merge-then-Adapt Framework for Personalized Large Language Model

• arxiv url: http://arxiv.org/abs/2511.20072v2
• Date: Wed, 26 Nov 2025 01:50:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 14:46:34.497653
• Title: MTA: A Merge-then-Adapt Framework for Personalized Large Language Model
• Title（参考訳）: MTA: パーソナライズされた大規模言語モデルのための統合適応フレームワーク
• Authors: Xiaopeng Li, Yuanjin Zheng, Wanyu Wang, wenlin zhang, Pengyue Jia, Yiqi Wang, Maolin Wang, Xuetao Wei, Xiangyu Zhao,
• Abstract要約: スパースデータを持つユーザのためのMTA(Merge-then-Adapt)フレームワークを提案する。 まず, アンカーユーザを選択し, メタロラモジュール内での個人化特性を事前学習することで, 共有メタロラバンクを構築する。 次に,静的モデルを超えた動的パーソナライズの組み合わせを実現するために,Adaptive LoRA Fusionステージを導入する。 第3に、Few-Shotパーソナライゼーションステージ用のLoRAスタックを提案し、このステージは、マージされたLoRAの上に、超低ランクで軽量なLoRAモジュールを付加する。
• 参考スコア（独自算出の注目度）: 36.616390004808586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized Large Language Models (PLLMs) aim to align model outputs with individual user preferences, a crucial capability for user-centric applications. However, the prevalent approach of fine-tuning a separate module for each user faces two major limitations: (1) storage costs scale linearly with the number of users, rendering the method unscalable; and (2) fine-tuning a static model from scratch often yields suboptimal performance for users with sparse data. To address these challenges, we propose MTA, a Merge-then-Adapt framework for PLLMs. MTA comprises three key stages. First, we construct a shared Meta-LoRA Bank by selecting anchor users and pre-training meta-personalization traits within meta-LoRA modules. Second, to ensure scalability and enable dynamic personalization combination beyond static models, we introduce an Adaptive LoRA Fusion stage. This stage retrieves and dynamically merges the most relevant anchor meta-LoRAs to synthesize a user-specific one, thereby eliminating the need for user-specific storage and supporting more flexible personalization. Third, we propose a LoRA Stacking for Few-Shot Personalization stage, which applies an additional ultra-low-rank, lightweight LoRA module on top of the merged LoRA. Fine-tuning this module enables effective personalization under few-shot settings. Extensive experiments on the LaMP benchmark demonstrate that our approach outperforms existing SOTA methods across multiple tasks.
• Abstract（参考訳）: パーソナライズされた大規模言語モデル(PLLM)は、モデル出力を個々のユーザの好みに合わせることを目的としています。 しかし,ストレージコストはユーザ数と線形にスケールし,メソッドをスクラッチから微調整することは,スクラッチから静的モデルを微調整することの2つの大きな制約に直面している。 これらの課題に対処するために,PLLM のための Merge-then-Adapt フレームワーク MTA を提案する。 MTAは3つの重要なステージから構成される。 まず, アンカーユーザを選択し, メタロラモジュール内での個人化特性を事前学習することで, 共有メタロラバンクを構築する。 次に,静的モデルを超えた動的パーソナライズの組み合わせを実現するために,Adaptive LoRA Fusionステージを導入する。 このステージは、最も関連性の高いアンカーメタロラを抽出し、動的にマージして、ユーザ固有のものを合成し、ユーザ固有のストレージの必要性をなくし、より柔軟なパーソナライズをサポートする。 第3に、Few-Shotパーソナライゼーションステージ用のLoRAスタックを提案し、このステージは、マージされたLoRAの上に、超低ランクで軽量なLoRAモジュールを付加する。 このモジュールを微調整することで、数ショット設定で効果的にパーソナライズできる。 LaMPベンチマークの大規模な実験により、我々のアプローチは複数のタスクで既存のSOTAメソッドよりも優れていることが示された。

関連論文リスト

• AutoLoRA: Automatic LoRA Retrieval and Fine-Grained Gated Fusion for Text-to-Image Generation [32.46570968627392]
  低ランク適応(LoRA)は、最小パラメータオーバーヘッドでモデルのカスタマイズを可能にする効果を実証している。 意味駆動型LoRA検索と動的アグリゲーションを可能にする新しいフレームワークを提案する。 提案手法は画像生成のパーフェマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2025-08-04T06:36:00Z)
• PROPER: A Progressive Learning Framework for Personalized Large Language Models with Group-Level Adaptation [32.53309583561644]
  本稿では,社会科学におけるメソレベルの理論に触発された新しい学習フレームワークであるPROPERを提案する。 ProPERは、好みに基づいてユーザーをグループ化し、段階的にLSMを適用することで、人口レベルとユーザーレベルのモデルを橋渡しする。 実験の結果,Properは複数のタスクでSOTAモデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-03T08:40:50Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models [4.978361907192563]
  MeteoRAはスケーラブルで効率的なフレームワークで、複数のタスク固有のLoRAアダプタをベースLLMに再利用する。 MeteoRAは複合タスクの処理において優れた性能を実現し、単一の推論パスで10のシーケンシャルな問題を効果的に解決する。
  論文  参考訳（メタデータ） (2024-05-19T20:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。