論文の概要: SimplexLoRA: Dynamic Rank Updating via Alternating Minimization with Simplex Projection

• arxiv url: http://arxiv.org/abs/2610.37206v1
• Date: Tue, 27 Oct 2026 13:24:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.636703
• Title: SimplexLoRA: Dynamic Rank Updating via Alternating Minimization with Simplex Projection
• Title（参考訳）: SimplexLoRA: Simplexプロジェクションによる交代最小化による動的ランク更新
• Abstract要約: SimplexLoRAは、学習重要度に基づいて、微調整中のアダプタランクを適応的に調整する。 我々はSimplexLoRAを12言語理解、要約、推論タスクで評価する。
• 参考スコア（独自算出の注目度）: 39.25335214877435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of large language models in real-world applications relies on parameter-efficient fine-tuning methods such as Low-Rank Adaptation (LoRA), which inserts compact, trainable adapters into selected layers. In this paper, we propose SimplexLoRA, a LoRA variant that adaptively adjusts adapter ranks during fine-tuning based on their learned importance. Unlike standard LoRA, which employs a fixed rank across all layers, SimplexLoRA optimizes per-adapter importance weights on the $n$-scaled simplex during a short warm-up and then freezes them, dynamically allocating capacity where it is most beneficial without increasing the overall parameter budget or inference cost. We evaluate SimplexLoRA across 12 language understanding, summarization, and reasoning tasks using DeBERTaV3, BART-large, Llama 3.1 8B, and Qwen3-8B. Our results show that SimplexLoRA consistently matches or outperforms standard LoRA and recent adaptive baselines, with the largest gains at low ranks. Our code is available at https://github.com/brain-lab-research/SimplexLoRA.
• Abstract（参考訳）: 実世界のアプリケーションにおける大規模言語モデルの成功は、Low-Rank Adaptation (LoRA)のようなパラメータ効率のよい微調整手法に依存している。 本稿では,学習重要度に基づいて,微調整中に適応的にアダプタランクを調整するLoRA変種であるSimplexLoRAを提案する。 標準のLoRAはすべての層に一定のランクを付けているが、SimplexLoRAは、短いウォームアップ中に$n$スケールのSimplexでアダプタ毎の重み付けを最適化し、それを凍結し、全体的なパラメータ予算や推論コストを増やすことなく、最も有益なキャパシティを動的に割り当てる。 DeBERTaV3, BART-large, Llama 3.1 8B, Qwen3-8B を用いて, 言語理解, 要約, 推論タスクにおける SimplexLoRA の評価を行った。 以上の結果から,SimplexLoRAは標準のLoRAと最近の適応ベースラインとの整合性や性能に優れており,低ランクでは最大であることがわかった。 私たちのコードはhttps://github.com/brain-lab-research/SimplexLoRAで利用可能です。

関連論文リスト

• MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning [45.41768510181293]
  MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。 以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2026-05-08T15:13:01Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [13.657093411434511]
  Low-Rank Adaptation (LoRA) は、生成モデルのパラメータ効率の良い微調整(PEFT)の一般的な手法である。 グラニュラーローランド適応(GraLoRA)という新しい構造を導入する。 GraLoRAは重量行列をサブブロックに分割する。
  論文  参考訳（メタデータ） (2025-05-26T06:48:20Z)
• RaSA: Rank-Sharing Low-Rank Adaptation [67.40422142257091]
  低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。 階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。 我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
  論文  参考訳（メタデータ） (2025-03-16T17:16:36Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters [11.23006032094776]
  理論的導出に基づく新しい微調整法であるLoRA-XSを紹介する。 LoRA-XSは、小さくてトレーニング可能な重量行列を組み込むことで、トレーニング可能なパラメータを劇的に削減する。 モジュールごとにひとつのパラメータから任意の大きな値にスケールでき、任意のストレージや計算の制約に適応できる。
  論文  参考訳（メタデータ） (2024-05-27T19:07:13Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)
• LoRA+: Efficient Low Rank Adaptation of Large Models [13.074320303580361]
  低ランク適応(LoRA)は,大幅モデル(埋め込み次元)の最適下微細化につながることを示す。 そこで, このLoRAの準最適性は, 適応行列 A と B の学習率を良好に設定することで, 簡単に補正可能であることを示す。 我々の実験では、LoRA$+$は、LoRAと同じ計算コストで性能(1-2$%の改善)と微調整速度($sim$2X SpeedUpまで)を改善する。
  論文  参考訳（メタデータ） (2024-02-19T18:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。