論文の概要: SaMA: Morpho Adaptation via Asymmetric Expansion of Kronecker Product

• arxiv url: http://arxiv.org/abs/2611.04462v1
• Date: Tue, 03 Nov 2026 07:49:56 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:27:53.128743
• Title: SaMA: Morpho Adaptation via Asymmetric Expansion of Kronecker Product
• Title（参考訳）: SaMA: Kronecker製品の非対称展開によるモルフォ適応
• Abstract要約: 低ランク適応(LoRA)はパラメータ効率細調整(PEFT)のランドスケープに大きな注目を集めている。 本稿では,Kronecker 積の原理的一般化に基づく PEFT 法である Scalable Morpho Adaptation (SaMA) を提案する。 完全シャッフル因数分解における共有ブロック制約を緩和することにより、SaMAは低レベルからフルランクに広がり、パラメータ予算と4次スケールの実用的なランクをフルランクまで達成する。
• 参考スコア（独自算出の注目度）: 4.596841877575524
• License:
• Abstract: Low-rank adaptation (LoRA) has attracted significant attention in the parameter-efficient fine-tuning (PEFT) landscape. However, its design suffers from two fundamental limitations. First, its invariance manifold induces flat directions in the loss landscape, creating an optimization bottleneck for adaptive optimizers. Second, its effective rank scales only linearly with the parameter budget. In this paper, we propose Scalable Morpho Adaptation (SaMA), a PEFT method grounded in a principled generalization of the Kronecker product. By relaxing the shared-block constraint in the perfect-shuffle factorization, SaMA spans from low to full rank and achieves a practical rank that scales quadratically with the parameter budget, up to full-rank. Furthermore, we show that its invariance manifold collapses to a diagonal group, making it structurally more optimizer-friendly. Empirically, SaMA consistently outperforms strong PEFT baselines on commonsense and arithmetic reasoning benchmarks while being more parameter-efficient.
• Abstract（参考訳）: 低ランク適応(LoRA)はパラメータ効率細調整(PEFT)のランドスケープに大きな注目を集めている。 しかし、その設計には2つの基本的な制限がある。 まず、その不変多様体は損失ランドスケープの平坦な方向を誘導し、適応最適化器の最適化ボトルネックを生成する。 第二に、その効果的なランクはパラメータ予算とともに線形にしかスケールしない。 本稿では,Kronecker 積の原理的一般化に基づく PEFT 法である Scalable Morpho Adaptation (SaMA) を提案する。 完全シャッフル因数分解における共有ブロック制約を緩和することにより、SaMAは低レベルからフルランクに広がり、パラメータ予算と4次スケールの実用的なランクをフルランクまで達成する。 さらに、その不変多様体が対角群に崩壊し、構造的により最適化しやすいことを示す。 経験的には、SMAはパラメータ効率が良く、コモンセンスと算術推論のベンチマークでPEFTのベースラインを一貫して上回っている。

関連論文リスト

• LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning [13.12609725011405]
  低ランク適応はパラメータ効率の微調整に広く用いられている。 我々は、一様ランクの割り当てが基本的に準最適であることを理論的、実証的に示す。 ランクを動的に割り当てる検索不要のフレームワークであるLAARAを提案する。
  論文  参考訳（メタデータ） (2026-07-02T19:01:59Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Strategic Over-Parameterization for Generalizable Low-Rank Adaptation [14.867641913391779]
  大規模言語モデルへの完全な微調整による下流タスクへの適応は、計算とメモリの要求のため、ますます現実的ではない。 LoRA-Overは単純な原則に基づくフレームワークで、トレーニング中に最適化の風景を豊かにし、推論時に豊かにする。 LLaMA 2-7B と LLaMA 3.1-8B を用いた言語理解 (GLUE, T5-Base), 対話 (MT-Bench), 算術的推論 (GSM8K), コード生成 (HumanEval) に基づく LoRA-Over の評価を行った。
  論文  参考訳（メタデータ） (2026-05-15T12:26:17Z)
• Singular Value Decomposition on Kronecker Adaptation for Large Language Model [0.8747606955991707]
  大規模な事前訓練されたトランスフォーマーモデルは、様々な言語や推論タスクにまたがって最先端の結果が得られる。 完全な微調整は、かなりのストレージ、メモリ、計算オーバーヘッドを発生させる。 我々は, Kronecker-product tensor factorization と SVD-driven initialization と Dynamic rank selection を組み合わせた新しい PEFT 戦略である SoKA を提案する。
  論文  参考訳（メタデータ） (2025-06-18T08:28:53Z)
• TriAdaptLoRA: Brain-Inspired Triangular Adaptive Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [9.730075039461154]
  様々な下流タスクで最適なパフォーマンスを達成するために、微調整の大規模言語モデル(LLM)が重要である。 本稿では,神経科学の原理に触発された新しいPEFTフレームワークであるAdaptive Low-Rank Adaptation (TriAdaptLoRA)を提案する。 様々な自然言語理解および生成タスクの実験は、TriAdaptLoRAが既存のPEFT法より一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2025-01-14T10:51:31Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。