論文の概要: TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning
- arxiv url: http://arxiv.org/abs/2509.18585v1
- Date: Tue, 23 Sep 2025 03:10:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-24 20:41:27.676836
- Title: TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning
- Title（参考訳）: TsqLoRA:効率的なファインチューニングのための感度と品質低ランク適応を目指して
- Authors: Yu Chen, Yifei Han, Long Zhang, Yue Du, Bin Li,
- Abstract要約: ダウンストリームタスクのための微調整済みの大規模な事前学習モデルは、計算コストが高く、メモリ集約的である。
TsqLoRAは、データ品質駆動選択と感度認識低ランク適応を統合した新しい手法である。
実験の結果、TsqLoRAは様々なNLPタスクの性能を維持したり改善したりしながら、微調整効率を向上することが示された。
- 参考スコア（独自算出の注目度）: 8.738094135297786
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning large pre-trained models for downstream tasks has become a fundamental approach in natural language processing. Fully fine-tuning all model parameters is computationally expensive and memory-intensive, especially in resource-constrained environments. Existing parameter-efficient fine-tuning methods reduce the number of trainable parameters but typically overlook the varying sensitivity of different model layers and the importance of training data. In this work, we propose TsqLoRA, a novel method that integrates data-quality-driven selection with sensitivity-aware low-rank adaptation, consisted of two main components: a quality-aware sampling mechanism for selecting the most informative training data, and a dynamic rank allocation module that adjusts the rank of each layer based on its sensitivity to parameter updates. The experimental results demonstrate that TsqLoRA improves fine-tuning efficiency while maintaining or even improving performance on a variety of NLP tasks. Our code will be available at https://github.com/Benjamin-Ricky/TsqLoRA.
- Abstract（参考訳）: 下流タスクのための微調整された大規模な事前学習モデルは、自然言語処理の基本的なアプローチとなっている。
完全に微調整されたモデルパラメータは計算コストが高く、特に資源制約のある環境ではメモリ集約的である。
既存のパラメータ効率の細かいチューニング手法は、トレーニング可能なパラメータの数を減らすが、通常、異なるモデル層の感度の変化とトレーニングデータの重要性を見落としている。
本研究では、データ品質駆動選択と感度対応低ランク適応を統合した新しい手法であるTsqLoRAについて、最も情報性の高いトレーニングデータを選択するための品質対応サンプリング機構と、パラメータ更新に対する感度に基づいて各レイヤのランクを調整する動的ランク割り当てモジュールの2つの主要コンポーネントから構成する。
実験の結果、TsqLoRAは様々なNLPタスクの性能を維持したり改善したりしながら、微調整効率を向上することが示された。
私たちのコードはhttps://github.com/Benjamin-Ricky/TsqLoRAで公開されます。
関連論文リスト
- Gradient-based Fine-Tuning through Pre-trained Model Regularization [20.823624386591902]
重み行列の行や列を更新する効率的な勾配ベースおよび正規化微調整法(GRFT)を提案する。
GRFTは最先端のパフォーマンスを実現し、GPS、Adapter Tuning、LoRAといった既存の手法を超越している。
論文 参考訳（メタデータ） (2025-06-14T14:41:03Z) - A Sensitivity-Driven Expert Allocation Method in LoRA-MoE for Efficient Fine-Tuning [0.6906005491572401]
パラメータ感度のLoRA-SMoEに基づいて専門家数を割当てる手法を提案する。
実験の結果,LoRA-SMoE手法はトレーニング可能なパラメータの数を減らしながらモデル性能を向上させることができることがわかった。
論文 参考訳（メタデータ） (2025-05-06T13:22:46Z) - PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。
事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。
そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
論文 参考訳（メタデータ） (2025-04-22T16:41:21Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - SARA: Singular-Value Based Adaptive Low-Rank Adaption [4.135688713311511]
パラメータ効率のよい微細チューニング(PEFT)手法としてのLoRAは、推論オーバーヘッドを加算しないために広く用いられている。
本研究ではまず,各層の性能とランクの関係をSVDを用いて解析する。
これに基づいてSARA(Singular-Value Based Adaptive Low-Rank Adaption)を設計する。
論文 参考訳（メタデータ） (2024-08-06T16:39:42Z) - AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。
重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。
我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-03-18T22:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。