論文の概要: $α$-LoRA: Effective Fine-Tuning via Base Model Rescaling

• arxiv url: http://arxiv.org/abs/2510.21345v1
• Date: Fri, 24 Oct 2025 11:19:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.447215
• Title: $α$-LoRA: Effective Fine-Tuning via Base Model Rescaling
• Title（参考訳）: $α$-LoRA: ベースモデル再スケーリングによる効果的なファインチューニング
• Authors: Aymane El Firdoussi, El Mahdi Chayti, Mohamed El Amine Seddik, Martin Jaggi,
• Abstract要約: そこで我々は, 微調整モデルの能力一般化を促進するために, 伝達学習のための新しいクラスreパラメタライゼーション手法を提案する。 ランダム行列理論のツールを用いた高次元二値分類設定において,本手法の有効性を確立し,より現実的な実験により理論的知見を検証した。
• 参考スコア（独自算出の注目度）: 41.58663029548425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning has proven to be highly effective in adapting pre-trained models to perform better on new desired tasks with minimal data samples. Among the most widely used approaches are reparameterization methods, which update a target module by augmenting its frozen weight matrix with an additional trainable weight matrix. The most prominent example is Low Rank Adaption (LoRA), which gained significant attention in recent years. In this paper, we introduce a new class of reparameterization methods for transfer learning, designed to enhance the generalization ability of fine-tuned models. We establish the effectiveness of our approach in a high-dimensional binary classification setting using tools from Random Matrix Theory, and further validate our theoretical findings through more realistic experiments, such as fine-tuning LLMs.
• Abstract（参考訳）: 微調整は、最小限のデータサンプルで新しい望ましいタスクを改善するために、事前訓練されたモデルを適用するのに非常に効果的であることが証明されている。 最も広く使われているアプローチは再パラメータ化法(reparameterization method)であり、この手法は、凍った重量行列をトレーニング可能な重量行列を追加することでターゲットモジュールを更新する。 最も顕著な例はローランク適応(LoRA)であり、近年大きな注目を集めている。 本稿では、微調整モデルの一般化能力を高めるために、トランスファーラーニングのための新しいクラス再パラメータ化手法を提案する。 我々は,ランダム行列理論のツールを用いた高次元二値分類におけるアプローチの有効性を確立し,微調整LDMなどのより現実的な実験を通じて理論的な知見を検証した。

関連論文リスト

• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
  微調整された事前学習モデルは、しばしば最先端のパフォーマンスをもたらすが、全てのパラメータを更新する際に計算コストがかかる。 本稿では,軽量ニューラルネットワークを用いた非線形PEFT手法NEATを提案し,事前学習した重みの非線形変換を学習する。 理論解析により, NEATは等価な表現性を維持しつつ, LoRA よりも高い効率を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-02T17:29:23Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• TRAWL: Tensor Reduced and Approximated Weights for Large Language Models [11.064868044313855]
  TRAWL (Tensor Reduced and Approximated Weights for Large Language Models) は、複数の重み行列に対してテンソル分解を適用し、大域的な構造パターンを捉えることでLLMを効果的に分解する手法である。 我々の実験によると、TRAWLは、追加のデータやトレーニング、微調整を必要とせず、ベンチマークデータセットのベースラインモデルよりも最大16%モデル性能を向上させる。
  論文  参考訳（メタデータ） (2024-06-25T04:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。