論文の概要: Kronecker-LoRA: hybrid Kronecker-LoRA adapters for scalable, sustainable fine-tuning

• arxiv url: http://arxiv.org/abs/2508.01961v1
• Date: Mon, 04 Aug 2025 00:02:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.133627
• Title: Kronecker-LoRA: hybrid Kronecker-LoRA adapters for scalable, sustainable fine-tuning
• Title（参考訳）: Kronecker-LoRA:スケーラブルで持続可能な微調整のためのハイブリッドKronecker-LoRAアダプタ
• Authors: Yixin Shen,
• Abstract要約: 冷凍リニアアップデートをKronecker製品として最初に分解する2段アダプタである textbfKron-LoRA を導入する。 Kron-LoRAは、標準のランク8のLoRAアダプタよりも少ないパラメータで最大4ドル!
• 参考スコア（独自算出の注目度）: 0.5629386140722666
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Fine-tuning massive pre-trained language models across many tasks demands adapters that are both parameter-efficient and highly expressive. We introduce \textbf{Kron-LoRA}, a two-stage adapter that first factorizes each frozen linear update as a Kronecker product \[ \Delta W = A \otimes B \] and then compresses \[ B \in \mathbb{R}^{d_{B2}\times d_{B1}} \] via an \(r\)-rank LoRA decomposition \(B \approx B_{1}B_{2}\). By leveraging \[ \mathrm{rank}(A \otimes B) \;=\; \mathrm{rank}(A)\,\mathrm{rank}(B), \] Kron-LoRA retains the expressivity of the update while using up to $4\!\times\!$ fewer parameters than a standard rank-8 LoRA adapter. Its compact adapter matrices also quantize to 8- or 4-bit with less accuracy degradation than LoRA, enabling further memory and storage savings for on-device deployment. We benchmark on DistilBERT and Mistral-7B across five tasks (PIQA, HellaSwag, WinoGrande, ARC-Easy, ARC-Challenge) over multiple epochs of adapter-only tuning: on DistilBERT, an 840 K-parameter Kron-LoRA matches LoRA-16's performance, and on Mistral-7B, a 5.7 M-parameter Kron-LoRA rivals LoRA-8 with modest memory savings and only a 3-8\% speed overhead. In sequential fine-tuning from ARC-Challenge to ARC-Easy, Kron-LoRA retains 55.18\% accuracy versus 53.17\% for LoRA-8-despite using only one-quarter of the adapter parameters-underscoring its competitive cross-task transfer performance. By uniting Kronecker structure, low-rank compression, quantization-friendliness, and by providing transparent trade-off analysis, Kron-LoRA offers a scalable, sustainable, and continual-learning-ready solution for multi-task adaptation of large language models.
• Abstract（参考訳）: 多くのタスクにまたがる大規模なトレーニング済み言語モデルには、パラメータ効率と高表現力の両方のアダプタが要求される。 冷凍線形更新を Kronecker 積 \[ \Delta W = A \otimes B \] として最初に分解し、次に \[B \in \mathbb{R}^{d_{B2}\times d_{B1}} \] を \(r\)-rank LoRA 分解 \(B \approx B_{1}B_{2}\) を介して圧縮する2段階のアダプタである \textbf{Kron-LoRA} を導入する。 \[ \mathrm{rank}(A \otimes B) \;=\; \mathrm{rank}(A)\,\mathrm{rank}(B) \] Kron-LoRAは最大4\! タイムズ! 標準ランク8のLoRAアダプタよりもパラメータが少ない。 コンパクトなアダプタ行列は、LoRAよりも精度の低い8ビットまたは4ビットまで量子化し、デバイス上での展開のためにメモリとストレージの節約を可能にする。 In DistilBERT, a 840 K-parameter Kron-LoRA match LoRA-16's performance, and on Mistral-7B, a 5.7 M-parameter Kron-LoRA rivals LoRA-8 with modest memory saves and a 3-8\% speed overhead。 ARC-ChallengeからARC-Easyへの連続的な微調整において、Kron-LoRAは55.18\%の精度を維持し、LoRA-8では53.17\%の精度を維持している。 Kron-LoRAは、Kronecker構造、低ランク圧縮、量子化親和性、透過的なトレードオフ分析を提供することにより、大規模言語モデルのマルチタスク適応のためのスケーラブルで持続可能で継続的な学習対応ソリューションを提供する。

関連論文リスト

• Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights [75.83625828306839]
  textbfDrag-and-Drop LLMs (textitDnD)は、未ラベルのタスクプロンプトをLoRAの重み更新に直接マッピングすることで、タスク単位のトレーニングを廃止する。 ライトウェイトテキストエンコーダは、各プロンプトバッチを条件埋め込みに蒸留し、カスケードされた超畳み込みデコーダによって全LORA行列に変換する。
  論文  参考訳（メタデータ） (2025-06-19T15:38:21Z)
• Dynamic Low-Rank Sparse Adaptation for Large Language Models [54.1231638555233]
  Low-rank Sparse Adaptation (LoSA)は、低ランク適応をsparse LLM sparsityにシームレスに統合する新しい手法である。 LoSAは、微調整中に対応するスパース重みに基づいてLoRA結果を動的に分散する。 LoSAは、追加の推論負荷を伴わずに、スパースLSMの有効性を数時間で効果的に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-20T18:37:32Z)
• NLoRA: Nyström-Initiated Low-Rank Adaptation for Large Language Models [12.431575579432458]
  SLoRA(StructuredLoRA)を導入し,低ランク行列AとBの間に小さな中間行列を加えることを検討した。 次に、Nystr"omLoRA(NLoRA)を提案し、Nystr"om-based initialization for SLoRAを用いて、その有効性と効率を改善する。 最後に,NLoRAの中間行列のみを微調整してLLM効率を向上するIntermediateTune(IntTune)を提案する。
  論文  参考訳（メタデータ） (2025-02-20T12:01:11Z)
• RoRA: Efficient Fine-Tuning of LLM with Reliability Optimization for Rank Adaptation [59.34193580856381]
  Low-Rank Adaptation (LoRA) は大規模言語モデルの微調整に広く使われ、有効である。 本稿では,LoRAのスケーリング係数を最適化するシンプルな手法であるRoRA(Rank-adaptive Reliability Optimization)を提案する。 RoRAは、ランクサイズが大きくなるにつれて性能が向上し、微調整プルーニングモデルにおける精度回復というより困難な課題を克服する。
  論文  参考訳（メタデータ） (2025-01-08T07:13:52Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• LoRA-GA: Low-Rank Adaptation with Gradient Approximation [5.685201910521295]
  微調整された大規模事前訓練モデルは、計算とメモリコストの点で極めて高価である。 LoRAは、パラメータが著しく少ない補助的な低ランクモデルを微調整することで、コスト効率のよい代替手段を提供する。 LoRAは完全な微調整に比べてかなり遅い速度で収束し、全体的な計算能力が向上し、しばしばテスト性能が悪化する。
  論文  参考訳（メタデータ） (2024-07-06T08:37:21Z)
• LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters [11.23006032094776]
  トレーニング可能なパラメータを格段に削減し,優れた性能と競争性能を示すLoRA-XSを提案する。 LoRA-XSは、LoRAと比較して、トレーニング可能なパラメータを7Bモデルで100倍以上削減する。
  論文  参考訳（メタデータ） (2024-05-27T19:07:13Z)
• S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
  パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。 本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
  論文  参考訳（メタデータ） (2023-11-06T17:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。