論文の概要: Blockwise Hadamard high-Rank Adaptation for Parameter-Efficient LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2509.21637v1
• Date: Thu, 25 Sep 2025 21:54:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.044172
• Title: Blockwise Hadamard high-Rank Adaptation for Parameter-Efficient LLM Fine-Tuning
• Title（参考訳）: LLMファインチューニングのためのブロックワイズアダマール高域適応
• Authors: Feng Yu, Jia Hu, Geyong Min,
• Abstract要約: HiRAのようなアダマール式の拡張は、名目上のランクを上げるが、凍結重み行列のグローバルエネルギーパターンへの更新を毎回繰り返す。 本稿では,各重み行列を分割し,ブロック毎に独立にHiRA型乗算変調を適用するブロック・アダマール高ランク適応(BHRA)を提案する。 我々の実証分析により、このブロックワイズ設計は、グローバルな変調によって引き起こされる崩壊を緩和し、ランクの予算にわたって豊富なスペクトルを維持していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 30.25581398106338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) methods must be resource-efficient yet handle heterogeneous reasoning transformations, and classical low-rank adaptation (LoRA) is constrained by the nominal rank $r$. Hadamard-style extensions like HiRA raise the nominal rank but couple every update to the global energy pattern of the frozen weight matrix, while ABBA trades this inductive bias for fully learned dense intermediates. To address the limitation of global modulation, we propose Block Hadamard high-Rank Adaptation (BHRA), which partitions each weight matrix and applies HiRA-style multiplicative modulation independently within every block, preserving the PEFT parameter footprint while unlocking localized rank amplification. Our empirical analyses reveal that this blockwise design maintains rich spectra across rank budgets, mitigating the collapse induced by global modulation. Across eight commonsense reasoning tasks and two arithmetic benchmarks with Llama-3.2 1B/3B, Mistral-7B, and Gemma-2 9B, BHRA consistently surpasses strong PEFT baselines under matched parameter budgets.
• Abstract（参考訳）: パラメータ効率のよい微調整法(PEFT)は資源効率が良いが不均一な推論変換を扱う必要があり、古典的な低ランク適応法(LoRA)は名目$r$で制約される。 HiRAのようなアダマール式の拡張は、名目上のランクを上げるが、凍った重み行列のグローバルエネルギーパターンへの更新を毎回ペアリングする一方、ABBAは、この誘導バイアスを、完全に学習された高密度中間体と交換する。 グローバルな変調の限界に対処するため、各重み行列を分割し、各ブロック内で独立にHiRAスタイルの乗算変調を適用するBlock Hadamard High-Rank Adaptation (BHRA)を提案する。 我々の実証分析により、このブロックワイズ設計は、グローバルな変調によって引き起こされる崩壊を緩和し、ランクの予算にわたって豊富なスペクトルを維持していることが明らかとなった。 8つのコモンセンス推論タスクと、Llama-3.2 1B/3B、Mistral-7B、Gemma-2 9Bの2つの算術ベンチマークにおいて、BHRAは一致したパラメータ予算の下で強力なPEFTベースラインを一貫して上回っている。

関連論文リスト

• DenseLoRA: Dense Low-Rank Adaptation of Large Language Models [14.133511131962786]
  低ランク適応 (LoRA) は大規模言語モデル (LLM) に適応するための効率的なアプローチとして開発されている。 パラメータ効率を高めつつ,LoRAよりも優れた性能を実現する新しい手法であるDense Low-Rank Adaptation (DenseLoRA)を導入する。 我々はDenseLoRAを様々なベンチマークで評価し、LLaMA3-8B上のトレーニング可能なパラメータの0.70%とLoRAの80.8%の精度と比較して、トレーニング可能なパラメータの0.01%で83.8%の精度を達成することを示した。
  論文  参考訳（メタデータ） (2025-05-27T08:19:07Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• DiffoRA: Enabling Parameter-Efficient Fine-Tuning via Differential Module Selection [32.369133126167085]
  Low-Rank Adaptation (LoRA) は、既存のトレーニング済みモデルに低ランク行列を組み込むことで、その合理化設計で人気を博している。 本稿では,低ランク分解行列を適応的に適用可能なDiffoRAを提案する。
  論文  参考訳（メタデータ） (2025-02-13T02:41:34Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。