論文の概要: MiCA Learns More Knowledge Than LoRA and Full Fine-Tuning

• arxiv url: http://arxiv.org/abs/2604.01694v1
• Date: Thu, 02 Apr 2026 06:52:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.573174
• Title: MiCA Learns More Knowledge Than LoRA and Full Fine-Tuning
• Title（参考訳）: MiCA、LoRAとフルファインチューニング以上の知識を学習
• Authors: Sten Rüdiger, Sebastian Raschka,
• Abstract要約: MiCA(Minor Component Adaptation)は、大規模言語モデルのための新しいパラメータ効率の高い微調整手法である。 MiCAはモデル表現の未使用部分空間の適応にフォーカスしている。
• 参考スコア（独自算出の注目度）: 0.4010598744735378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Minor Component Adaptation (MiCA) is a novel parameter-efficient fine-tuning method for large language models that focuses on adapting underutilized subspaces of model representations. Unlike conventional methods such as Low-Rank Adaptation (LoRA), which target dominant subspaces, MiCA leverages Singular Value Decomposition to identify subspaces related to minor singular vectors associated with the least significant singular values and constrains the update of parameters during fine-tuning to those directions. This strategy leads to up to 5.9x improvement in knowledge acquisition under optimized training hyperparameters and a minimal parameter footprint of 6-60% compared to LoRA. These results suggest that constraining adaptation to minor singular directions provides a more efficient and stable mechanism for integrating new knowledge into pre-trained language models.
• Abstract（参考訳）: MiCA(Minor Component Adaptation)は、モデル表現の未使用部分空間への適応に焦点を当てた、大規模言語モデルのための新しいパラメータ効率の良い微調整手法である。 支配的な部分空間を対象とするローランド適応(LoRA)のような従来の手法とは異なり、MiCAは特異値分解を利用して、最小の特異値に関連する小さな特異ベクトルに関連する部分空間を同定し、それらの方向への微調整中にパラメータの更新を制限する。 この戦略は、最適化されたトレーニングハイパーパラメータの下での知識獲得の5.9倍の改善と、LoRAと比較して6-60%の最小パラメータフットプリントをもたらす。 これらの結果は, 学習前の言語モデルに新たな知識を組み込むための, より効率的かつ安定したメカニズムが提供されることを示唆している。

関連論文リスト

• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• Low-rank Adaptation of Large Language Model Rescoring for Parameter-Efficient Speech Recognition [32.24656612803592]
  音声認識出力再構成のための低ランク適応(LoRA)に基づくニューラルネットワークモデリングシステムを提案する。 本稿では,低ランク分解に基づく手法を提案し,事前訓練されたパラメータのごく一部だけを用いて,リスコリングBERTモデルをトレーニングし,新しい領域に適応させる。 提案した低ランク適応型Rescore-BERT(LoRB)アーキテクチャは、LibriSpeechおよび内部データセット上で5.4から3.6の因子でトレーニング時間を短縮した上で評価される。
  論文  参考訳（メタデータ） (2023-09-26T19:41:34Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。