論文の概要: Hierarchical Low-Rank Reparameterization for Parameter-Efficient

• arxiv url: http://arxiv.org/abs/2610.37068v1
• Date: Tue, 27 Oct 2026 11:34:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.264637
• Title: Hierarchical Low-Rank Reparameterization for Parameter-Efficient
• Title（参考訳）: パラメータ効率向上のための階層型低ランクパラメータ化
• Abstract要約: 本稿では,新しい階層型低ランク再パラメータ化手法を提案する。 その中核となる考え方は、PEFT法のトレーニング可能なパラメータをほぼ正方行列に再構成することである。 提案手法は,競争力のあるタスク性能を維持しつつ,平均精度で対応するベースラインを超えることさえ可能である。
• 参考スコア（独自算出の注目度）: 9.746014087398752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) methods adapt large models by introducing a small number of trainable parameters. However, we find that these parameters still contain redundancy and can be further compressed while maintaining strong task performance. To this end, we propose a novel hierarchical low-rank reparameterization method. Its core idea is to reorganize the trainable parameters of PEFT methods into an approximately square matrix and then express it via a low-rank decomposition, which can be applied recursively. This forms a multi-level structure with factors compressed level by level, drastically reducing the number of trainable parameters. In our experiments, we combine this reparameterization with LoRA, DoRA, MoSA, and RaSA. We evaluate commonsense reasoning on LLaMA-3.1-8B and Qwen2.5-7B, with additional GSM8K math reasoning experiments on LLaMA-3.1-8B. Under comparable trainable-parameter budgets, our method combined with LoRA or DoRA achieves better performance. Furthermore,when the parameter count of the original methods is compressed by approximately an order of magnitude, our method can still maintain competitive task performance and even surpass the corresponding baselines in average accuracy across the eight commonsense reasoning benchmarks.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)法は、少数のトレーニング可能なパラメータを導入して大きなモデルに適応する。 しかし,これらのパラメータは依然として冗長性を有しており,高いタスク性能を維持しながらさらに圧縮可能であることがわかった。 そこで本研究では,新しい階層型低ランク再パラメータ化手法を提案する。 その中核となる考え方は、PEFT法のトレーニング可能なパラメータをほぼ正方行列に再構成し、低ランク分解で表現し、再帰的に適用することである。 これは、レベルごとに圧縮された要素を持つマルチレベル構造を形成し、トレーニング可能なパラメータの数を劇的に削減する。 実験では, このパラメータ化をLoRA, DoRA, MoSA, RaSAと組み合わせた。 我々はLLaMA-3.1-8BとQwen2.5-7Bのコモンセンス推論の評価を行い、LLaMA-3.1-8BのGSM8K算数推論実験を行った。 トレーニング可能なパラメータの予算に比較して,LoRAやDoRAと組み合わせることで,性能が向上する。 さらに,元の手法のパラメータ数を約1桁圧縮した場合,提案手法は競争的タスク性能を維持でき,また,8つのコモンセンス推論ベンチマークにおいて,対応するベースラインを平均精度で上回ることができる。

関連論文リスト

• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• 1LoRA: Summation Compression for Very Low-Rank Adaptation [6.00844864296448]
  検討したPEFT法に対して, 線形層毎のパラメータの最小値を微調整する「極低階法」について検討した。 本稿では, 計算, パラメータ, メモリ効率のよい微調整手法である1LoRAを提案する。
  論文  参考訳（メタデータ） (2025-03-11T11:45:20Z)
• Sparsity May Be All You Need: Sparse Random Parameter Adaptation [7.479026959617763]
  アライメントとタスク適応のための大規模言語モデルの完全な微調整は、モデルのサイズが大きくなるにつれて、極めて高価になっている。 そこで本研究では,これらのモデルの微調整に必要な計算資源とメモリ資源を,モデルパラメータのすべてではなく,少数のパラメータでのみ訓練することで削減する手法を提案する。 PEFT技術がうまく機能することが本当に重要であるのは、必ずしも特定のアダプタ構造ではなく、トレーニング可能なパラメータの数である。
  論文  参考訳（メタデータ） (2025-02-21T22:23:16Z)
• EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition [2.5269004336032186]
  Efficient Weight-Decomposed Low-Rank Adaptation (EDoRA) は、事前学習した重量を大きさと方向の成分に分解する新しいPEFT法である。 EDoRAは、LoRAやDoRAのような最先端の手法と比較して、競争力や優れた性能を達成する。
  論文  参考訳（メタデータ） (2025-01-21T11:42:09Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• IncreLoRA: Incremental Parameter Allocation Method for Parameter-Efficient Fine-tuning [15.964205804768163]
  IncreLoRAは、トレーニング中にトレーニング可能なパラメータを適応的に追加するインクリメンタルパラメータ割り当て手法である。 我々は,IncreLoRAの有効性を示すため,GLUEの広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-23T10:08:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。