論文の概要: SOLAR: Communication-Efficient Model Adaptation via Subspace-Oriented Latent Adapter Reparametrization

• arxiv url: http://arxiv.org/abs/2604.08368v1
• Date: Thu, 09 Apr 2026 15:34:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.998172
• Title: SOLAR: Communication-Efficient Model Adaptation via Subspace-Oriented Latent Adapter Reparametrization
• Title（参考訳）: SOLAR:サブスペース指向遅延アダプタの並列化による通信効率の良いモデル適応
• Authors: Seyed Mahmoud Sajjadi Mohammadabadi, Xiaolong Ma, Lei Yang, Feng Yan, Junshan Zhang,
• Abstract要約: SOLARは、PEFTアダプタの通信コストを大幅に削減する後処理圧縮フレームワークである。 モデルに依存しず、LoRA、AdaLoRA、その他のアダプタモジュールを含む既存のPEFTメソッドと互換性がある。
• 参考スコア（独自算出の注目度）: 21.389930928202535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) methods, such as LoRA, enable scalable adaptation of foundation models by injecting low-rank adapters. However, their communication and storage costs remain a major bottleneck in resource-constrained settings. We propose SOLAR (Subspace-Oriented Latent Adapter Reparameterization), a post-training compression framework that substantially reduces the communication cost (i.e., the number of parameters to transmit or store) of PEFT adapters. SOLAR expresses each PEFT update as a linear combination of basis vectors formed from the foundation model's singular vectors with controlled random perturbations. By exploiting the subspace similarity (the alignment of principal directions) between the foundation model and task-specific fine-tuned updates, SOLAR decouples the adapter size from PEFT structure and ensures compact yet expressive representations. It is model-agnostic and compatible with existing PEFT methods, including LoRA, AdaLoRA, and other adapter modules. We theoretically establish a bound on the reconstruction error. Experiments on language and vision tasks using LLaMA, GPT, and ViT models demonstrate that SOLAR preserves task performance while significantly reducing model representation sizes, offering an effective and communication-efficient solution for deployment in distributed systems and edge devices.
• Abstract（参考訳）: LoRAのようなパラメータ効率のよい微細チューニング(PEFT)手法は、低ランクアダプタを注入することで基礎モデルのスケーラブルな適応を可能にする。 しかし、通信とストレージのコストは、リソース制限された設定において依然として大きなボトルネックとなっている。 SOLAR(Subspace-Oriented Latent Adapter Reparameterization)は,PEFTアダプタの通信コスト(送信・格納するパラメータ数)を大幅に削減する後処理圧縮フレームワークである。 SOLARは、各PEFT更新を、基礎モデルの特異ベクトルと制御されたランダム摂動からなる基底ベクトルの線形結合として表現する。 基礎モデルとタスク固有の細調整された更新の間の部分空間の類似性(主方向のアライメント)を利用して、SOLARはPEFT構造からアダプタサイズを分離し、コンパクトで表現力のある表現を保証する。 モデルに依存しず、LoRA、AdaLoRA、その他のアダプタモジュールを含む既存のPEFTメソッドと互換性がある。 理論的には,復元誤差の限界を定めている。 LLaMA、GPT、ViTモデルを用いた言語および視覚タスクの実験では、SOLARはタスク性能を保ちながら、モデル表現のサイズを大幅に削減し、分散システムやエッジデバイスにデプロイするための効果的なコミュニケーション効率の高いソリューションを提供する。

関連論文リスト

• Improving Recursive Transformers with Mixture of LoRAs [2.672804414228544]
  共有フィードフォワードネットワーク(FFN)内にLoRA(Lo-Rank Adaptation)の専門家を挿入するLoRA(MoL)の混合 MoLは、バックボーンパラメータをアンタイズすることなく共有FFNのトークン条件の重み空間変調を可能にする。 ModernALBERTは、コンパクトモデル間で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-14T23:39:30Z)
• Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
  ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。 まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。 次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
  論文  参考訳（メタデータ） (2025-07-09T03:25:45Z)
• Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
  Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。 本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T06:15:38Z)
• QuIC: Quantum-Inspired Compound Adapters for Parameter Efficient Fine-Tuning [0.0]
  大きなファンデーションモデルの完全な微調整は、GPUメモリとトレーニング時間を歪ませます。 量子インスパイア複合アダプタ(QuICアダプタ)について紹介する。 QuICアダプタは、ベースモデルの0.02%未満のメモリフットプリントを使用して、モデルを効果的に微調整することができる。
  論文  参考訳（メタデータ） (2025-02-10T13:06:56Z)
• LoRA-X: Bridging Foundation Models with Training-Free Cross-Model Adaptation [48.22550575107633]
  新しいアダプタであるCross-Model Low-Rank Adaptation (LoRA-X)は、ソースモデルとターゲットモデル間のLoRAパラメータのトレーニング不要転送を可能にする。 本実験は,テキスト・ツー・イメージ生成におけるLoRA-Xの有効性を示す。
  論文  参考訳（メタデータ） (2025-01-27T23:02:24Z)
• Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
  PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。 本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。 提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-28T11:23:34Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。