論文の概要: The Quest for Winning Tickets in Low-Rank Adapters

• arxiv url: http://arxiv.org/abs/2512.22495v1
• Date: Sat, 27 Dec 2025 06:39:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.085855
• Title: The Quest for Winning Tickets in Low-Rank Adapters
• Title（参考訳）: 低ランクアダプタにおけるティケット獲得の探求
• Authors: Hamed Damirchi, Cristian Rodriguez-Opazo, Ehsan Abbasnejad, Zhen Zhang, Javen Shi,
• Abstract要約: Lottery Ticket仮説がパラメータ効率の良い微調整に拡張されるかどうかを検討する。 我々の重要な発見は、LTHがLoRA(Lo-Rank Adaptation)メソッド内に保持されていることです。 そこで本研究では,課題関連部分空間に適合する低ランクアダプタを訓練し,サロワークを識別する手法であるPartial-LoRAを提案する。
• 参考スコア（独自算出の注目度）: 24.58659526975649
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Lottery Ticket Hypothesis (LTH) suggests that over-parameterized neural networks contain sparse subnetworks ("winning tickets") capable of matching full model performance when trained from scratch. With the growing reliance on fine-tuning large pretrained models, we investigate whether LTH extends to parameter-efficient fine-tuning (PEFT), specifically focusing on Low-Rank Adaptation (LoRA) methods. Our key finding is that LTH holds within LoRAs, revealing sparse subnetworks that can match the performance of dense adapters. In particular, we find that the effectiveness of sparse subnetworks depends more on how much sparsity is applied in each layer than on the exact weights included in the subnetwork. Building on this insight, we propose Partial-LoRA, a method that systematically identifies said subnetworks and trains sparse low-rank adapters aligned with task-relevant subspaces of the pre-trained model. Experiments across 8 vision and 12 language tasks in both single-task and multi-task settings show that Partial-LoRA reduces the number of trainable parameters by up to 87\%, while maintaining or improving accuracy. Our results not only deepen our theoretical understanding of transfer learning and the interplay between pretraining and fine-tuning but also open new avenues for developing more efficient adaptation strategies.
• Abstract（参考訳）: Lottery Ticket hypothesis (LTH) は、過パラメータ化されたニューラルネットワークには、スクラッチからトレーニングした際の完全なモデルパフォーマンスにマッチするスパースサブネット("ウィンニングチケット")が含まれていることを示唆している。 LTHがパラメータ効率のよい微調整(PEFT)に拡張するかどうか,特にLoRA(Lo-Rank Adaptation)法に焦点をあてて検討する。 我々の重要な発見は、LTHがLoRA内に保持され、密度の高いアダプタの性能にマッチするスパースサブネットワークが明らかになることです。 特に,スパース・サブネットワークの有効性は,各層にどの程度の間隔が適用されるか,サブネットワークに含まれる正確な重量に依存することがわかった。 この知見に基づいて、サブネットを体系的に識別する手法であるPartial-LoRAを提案し、事前訓練されたモデルのタスク関連部分空間に整合した低ランクアダプタを訓練する。 シングルタスクとマルチタスクの両方で8つのビジョンと12の言語タスクにわたる実験により、Partial-LoRAはトレーニング可能なパラメータの数を最大87\%削減し、精度を維持または改善している。 本研究は,移動学習の理論的理解を深め,事前学習と微調整の相互作用を深化させるとともに,より効率的な適応戦略を開発するための新たな道を開いた。

関連論文リスト

• Winning the Lottery by Preserving Network Training Dynamics with Concrete Ticket Search [0.5156484100374058]
  Lottery Ticket仮説は、高密度でランダムなニューラルネットワーク内に、高度にスパースでトレーニング可能なワーク('勝利チケット')が存在すると主張している。 Lottery Ticket Rewindingのように、これらのチケットを描画する最先端の手法は、計算的に禁止されている。 本研究では、PaIがウェイト間の依存関係を無視した1次サリエンシメトリクスに依存していることが、このパフォーマンスギャップに大きく貢献する、と論じる。
  論文  参考訳（メタデータ） (2025-12-08T03:48:51Z)
• Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
  ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。 まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。 次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
  論文  参考訳（メタデータ） (2025-07-09T03:25:45Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• SARA: Singular-Value Based Adaptive Low-Rank Adaption [4.135688713311511]
  パラメータ効率のよい微細チューニング(PEFT)手法としてのLoRAは、推論オーバーヘッドを加算しないために広く用いられている。 本研究ではまず,各層の性能とランクの関係をSVDを用いて解析する。 これに基づいてSARA(Singular-Value Based Adaptive Low-Rank Adaption)を設計する。
  論文  参考訳（メタデータ） (2024-08-06T16:39:42Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• ConvLoRA and AdaBN based Domain Adaptation via Self-Training [4.006331916849688]
  マルチターゲットドメイン適応のための畳み込み低ランク適応(ConvLoRA)を提案する。 ConvLoRAはトレーニング済みのモデルウェイトを凍結し、畳み込み層にトレーニング可能な低ランク分解行列を追加し、勾配をバックプロパゲートする。 提案手法はトレーニング可能なパラメータを少なくし,大規模独立微調整ネットワークと同等あるいは同等に動作する。
  論文  参考訳（メタデータ） (2024-02-07T15:43:50Z)
• HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
  ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。 提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。 トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
  論文  参考訳（メタデータ） (2020-08-24T04:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。