論文の概要: CTR-LoRA: Curvature-Aware and Trust-Region Guided Low-Rank Adaptation for Large Language Models

• arxiv url: http://arxiv.org/abs/2510.15962v1
• Date: Sat, 11 Oct 2025 20:05:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.725403
• Title: CTR-LoRA: Curvature-Aware and Trust-Region Guided Low-Rank Adaptation for Large Language Models
• Title（参考訳）: CTR-LoRA:大規模言語モデルに対する曲率認識と信頼度誘導低ランク適応
• Authors: Zhuxuanzi Wang, Mingqiao Mo, Xi Xiao, Chen Liu, Chenrui Ma, Yunbei Zhang, Xiao Wang, Smita Krishnaswamy, Tianyang Wang,
• Abstract要約: CTR-LoRAは、ランクスケジューリングと安定性を考慮した最適化を統合している。 複数のオープンソースバックボーン(7B-13B)の実験では、強力なPEFTベースラインよりも一貫した改善が見られた。
• 参考スコア（独自算出の注目度）: 23.34193229321038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) has become the standard approach for adapting large language models under limited compute and memory budgets. Although previous methods improve efficiency through low-rank updates, quantization, or heuristic budget reallocation, they often decouple the allocation of capacity from the way updates evolve during training. In this work, we introduce CTR-LoRA, a framework guided by curvature trust region that integrates rank scheduling with stability-aware optimization. CTR-LoRA allocates parameters based on marginal utility derived from lightweight second-order proxies and constrains updates using a Fisher/Hessian-metric trust region. Experiments on multiple open-source backbones (7B-13B), evaluated on both in-distribution and out-of-distribution benchmarks, show consistent improvements over strong PEFT baselines. In addition to increased accuracy, CTR-LoRA enhances training stability, reduces memory requirements, and achieves higher throughput, positioning it on the Pareto frontier of performance and efficiency. These results highlight a principled path toward more robust and deployable PEFT.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は、限られた計算とメモリの予算の下で大規模言語モデルを適応するための標準手法となっている。 従来の方法では、低ランク更新、量子化、あるいはヒューリスティックな予算再配置によって効率が向上するが、トレーニング中の更新の方法からキャパシティの割り当てを分離することが多い。 本稿では,CTR-LoRAについて紹介する。CTR-LoRAは曲率信頼領域に導かれるフレームワークで,ランクスケジューリングと安定性を考慮した最適化を統合している。 CTR-LoRAは、軽量な2階述語プロキシとFisher/Hessian-metric Trust regionを用いた制約更新から派生した限界効用に基づくパラメータを割り当てる。 複数のオープンソースバックボーン (7B-13B) の実験は、分布内および分布外ベンチマークの両方で評価され、強力なPEFTベースラインよりも一貫した改善が見られた。 精度の向上に加えて、CTR-LoRAはトレーニングの安定性を高め、メモリ要件を低減し、高いスループットを実現し、パフォーマンスと効率のParetoフロンティアに配置する。 これらの結果は、より堅牢でデプロイ可能なPEFTへの原則的な道のりを浮き彫りにしている。

関連論文リスト

• DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks [47.58150560549918]
  重み分解低ランク適応(DoRA)は,バニラ低ランク適応(LoRA)法の学習能力と訓練安定性の両方を改善することが示されている。 そこで本研究では,DoRAのトレーニングを安定化し,サンプル効率を向上させるため,新しいDoRAの派生型であるDoRANを提案する。
  論文  参考訳（メタデータ） (2025-10-05T19:27:48Z)
• TROLL: Trust Regions improve Reinforcement Learning for Large Language Models [25.03342193102256]
  PPOライクなクリップ目標を持つオンライン強化学習(RL)は、大規模言語モデル(LLM)の微調整の標準選択肢となっている。 我々は、このクリップの目的を、トークンレベルのKL制約を原則とする、新しい離散微分可能な信頼領域プロジェクションに置き換える。 我々のアプローチであるTROLL(Trust Region Optimization for Large Language Models)は、トレーニング中にPPOライクなクリッピングを直接置き換えるものであり、モデルの推論動作を変えるものではない。
  論文  参考訳（メタデータ） (2025-10-04T14:14:20Z)
• Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
  NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。 CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。 NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
  論文  参考訳（メタデータ） (2025-09-16T16:47:03Z)
• From LLMs to Edge: Parameter-Efficient Fine-Tuning on Edge Devices [3.4233698915405544]
  本稿では,資源制約されたエッジ環境に通常デプロイされる畳み込みアーキテクチャのPEFT手法をベンチマークし,解析する。 評価されたPEFT法は, 深部分離可能な畳み込みアーキテクチャに適用した場合, メモリ効率が半減することがわかった。
  論文  参考訳（メタデータ） (2025-07-31T13:23:21Z)
• Robust Federated Finetuning of Foundation Models via Alternating Minimization of LoRA [14.789886179102425]
  RoLoRAは、LoRAの交互アプローチを利用する、堅牢なフェデレーションファインチューニングフレームワークである。 この結果から,RoLoRAは通信の利点を示すだけでなく,複数のファインチューニングシナリオにおけるロバスト性と有効性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-09-04T00:20:55Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。