論文の概要: MoKA: Mixture of Kronecker Adapters
- arxiv url: http://arxiv.org/abs/2508.03527v1
- Date: Tue, 05 Aug 2025 14:58:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-06 18:18:56.030005
- Title: MoKA: Mixture of Kronecker Adapters
- Title（参考訳）: MoKA: Kroneckerアダプタの混合
- Authors: Mohammadreza Sadeghi, Mahsa Ghazvini Nejad, MirHamed Jafarzadeh Asl, Yu Gu, Yuanhao Yu, Masoud Asgharian, Vahid Partovi Nia,
- Abstract要約: 低ランクなファミリーアダプタは、大きな言語モデルの生成能力を保ちながらパラメータサイズを効率的に制御するために一般的に使用される。
そこで我々は,Kronecker 製品の混合として重み更新をモデル化することにより,この制限に対処する新世代の Kronecker アダプタを提案する。
我々はLLaMA2-7BモデルとLLaMA3-8Bモデルの低ビット量子化バージョンを用いた命令調整および常識推論タスクの広範な実験を行った。
- 参考スコア（独自算出の注目度）: 10.972403518731639
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Parameter-efficient fine-tuning (PEFT) is essential for reducing the computational overhead of large language models (LLMs). Low-rank family adapters are commonly used to control the parameter size efficiently while maintaining the generative power of LLMs. However, their limited expressiveness due to the rank constraint often restricts their performance on complex tasks. We propose Mixture of Kronecker Adapters (MoKA), a new generation of Kronecker adapters that addresses this limitation by modeling weight updates as a mixture of Kronecker products. Our proposed adapter leverages a gating mechanism that measures the importance of each Kronecker factor, enabling more expressive adaptation. Moreover, MoKA enables a rank flexibility that provides a better trade-off between parameter efficiency and accuracy. To ensure hardware efficiency, we reformulate Kronecker computations using standard matrix operations, allowing seamless deployment on GPU-optimized hardware. We conduct extensive experiments on instruction-tuning and commonsense reasoning tasks using low-bit quantized versions of LLaMA2-7B and LLaMA3-8B models. MoKA not only outperforms PEFT baselines, but also reduces the number of trainable parameters up to 27x, achieving state-of-the-art trade-offs between performance and parameter efficiency.
- Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)の計算オーバーヘッドを低減するために不可欠である。
低ランクファミリーアダプタは、LLMの生成能力を維持しながらパラメータサイズを効率的に制御するために一般的に使用される。
しかし、ランク制約による表現力の制限は、複雑なタスクにおけるパフォーマンスを制限していることが多い。
Kronecker Adapters (Mixture of Kronecker Adapters, MoKA) は、Kronecker製品の混合として重み更新をモデル化することにより、この制限に対処する新しい世代のKroneckerアダプタである。
提案アダプタは,各Kronecker因子の重要性を測定するゲーティング機構を利用して,より表現力のある適応を可能にする。
さらに、MoKAはパラメータ効率と精度のトレードオフを向上するランク柔軟性を実現する。
ハードウェア効率を確保するため、標準的な行列演算を用いてKronecker計算を再構成し、GPU最適化ハードウェアへのシームレスなデプロイを可能にする。
我々はLLaMA2-7BモデルとLLaMA3-8Bモデルの低ビット量子化バージョンを用いた命令調整および常識推論タスクの広範な実験を行った。
MoKAはPEFTベースラインを上回るだけでなく、トレーニング可能なパラメータの数を最大27倍に削減し、パフォーマンスとパラメータ効率の最先端のトレードオフを実現している。
関連論文リスト
- Towards Higher Effective Rank in Parameter-efficient Fine-tuning using Khatri--Rao Product [44.54075854327492]
フルランク法と低ランクのPEFT法の比較を行った。
KRAdapterは、高い有効ランクの行列積を生成する新しいPEFTアルゴリズムである。
我々はKRAdapterによる1Bパラメータまでの視覚言語モデルと8Bパラメータまでの大規模言語モデルの性能向上を示す。
論文 参考訳（メタデータ） (2025-08-01T00:29:13Z) - Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。
まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。
次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
論文 参考訳（メタデータ） (2025-07-09T03:25:45Z) - Singular Value Decomposition on Kronecker Adaptation for Large Language Model [0.8747606955991707]
大規模な事前訓練されたトランスフォーマーモデルは、様々な言語や推論タスクにまたがって最先端の結果が得られる。
完全な微調整は、かなりのストレージ、メモリ、計算オーバーヘッドを発生させる。
我々は, Kronecker-product tensor factorization と SVD-driven initialization と Dynamic rank selection を組み合わせた新しい PEFT 戦略である SoKA を提案する。
論文 参考訳（メタデータ） (2025-06-18T08:28:53Z) - Hyper Compressed Fine-Tuning of Large Foundation Models with Quantum Inspired Adapters [0.0]
emphQuantum-Inspired Adaptersは、量子機械学習文学のハミング級量子回路にインスパイアされたPEFTアプローチである。
提案するアダプタは,ベンチマークデータセットに大規模言語モデルと大規模視覚変換器を適用して検証する。
論文 参考訳（メタデータ） (2025-02-10T13:06:56Z) - FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing [59.12511498024836]
本稿では,重み付けスコアに基づいてモデルブロックを選択的にプルーする大規模言語モデル(LLM)をプルーする手法を提案する。
重み共有機構を用いて各刈り込みブロックを置換する原理的計量を提案する。
経験的評価は、既存の方法よりも大幅にパフォーマンスが向上したことを示している。
論文 参考訳（メタデータ） (2025-01-24T18:46:37Z) - OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。
しばしば最適化の課題を提起するが、収束性は低い。
推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。
視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
論文 参考訳（メタデータ） (2024-12-13T18:55:19Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models [108.08773541490191]
事前訓練された言語モデル(PLM)は大量のパラメータを持ち、微調整は高価で時間を要することが多い。
ダウンストリームタスクにおける性能を損なうことなく、微調整時にPLMのパラメータを減らすためのパラメータ効率のアプローチを採用する必要がある。
本稿では, PLMにおける自己注意出力のみに作用する新しいアダプタを設計する。
論文 参考訳（メタデータ） (2024-07-04T18:21:28Z) - Structured Unrestricted-Rank Matrices for Parameter Efficient Fine-tuning [38.80020737321214]
構造化非制限ランク行列(SURM)に基づく効率的なパラメータ微調整(PEFT)のためのフレームワークを提案する。
SURMは、LoRAの低ランク行列を置換しながら、様々な画像分類タスクにおいて5-7%の精度向上を実現している。
また、GLUEベンチマークでは、アダプタのパラメータ数を最大12倍に削減する(ほぼ品質が低下する)。
論文 参考訳（メタデータ） (2024-06-25T17:26:05Z) - MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。
我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。
実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
論文 参考訳（メタデータ） (2024-02-27T07:14:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。