論文の概要: GRIT -- Geometry-Aware PEFT with K-FACPreconditioning, Fisher-Guided Reprojection, andDynamic Rank Adaptation

• arxiv url: http://arxiv.org/abs/2601.00231v1
• Date: Thu, 01 Jan 2026 06:31:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.328807
• Title: GRIT -- Geometry-Aware PEFT with K-FACPreconditioning, Fisher-Guided Reprojection, andDynamic Rank Adaptation
• Title（参考訳）: GRIT -- K-FACPリコンディショニング、Fisher-Guided Reprojection、Dynamic Rank Adaptationを備えた幾何対応PEFT
• Authors: Pritish Saha, Chandrav Rajbangshi, Rudra Goyal, Mohit Goyal, Anurag Deo, Biswajit Roy, Ningthoujam Dhanachandra Singh, Raxit Goswami, Amitava Das,
• Abstract要約: GRITは、LoRAパラメータ化を保存する曲率対応のLoRAプロシージャである。 トレーニング可能なパラメータを平均で46%削減しながら、LoRAとQLoRAにマッチまたは超越する。 GRITは強力なPEFT最適化器ベースラインよりも低いドリフトと更新vs保持フロンティアが得られる。
• 参考スコア（独自算出の注目度）: 4.748720471060117
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) is the default way to adapt LLMs, but widely used LoRA and QLoRA are largely geometry-agnostic: they optimize in fixed, randomly oriented low-rank subspaces with first-order descent, mostly ignoring local loss curvature. This can inflate the effective update budget and amplify drift along weakly constrained directions. We introduce GRIT, a dynamic, curvature-aware LoRA procedure that preserves the LoRA parameterization but: (1) preconditions gradients in rank space using K-FAC as a natural-gradient proxy; (2) periodically reprojects the low-rank basis onto dominant Fisher eigendirections to suppress drift; and (3) adapts the effective rank from the spectrum so capacity concentrates where signal resides. Across instruction-following, comprehension, and reasoning benchmarks on LLaMA backbones, GRIT matches or surpasses LoRA and QLoRA while reducing trainable parameters by 46% on average (25--80% across tasks), without practical quality loss across prompt styles and data mixes. To model forgetting, we fit a curvature-modulated power law. Empirically, GRIT yields lower drift and a better updates-vs-retention frontier than strong PEFT-optimizer baselines (Orthogonal-LoRA, IA3, DoRA, Eff-FT, Shampoo).
• Abstract（参考訳）: パラメータ効率の微調整(PEFT)は LLM を適応するためのデフォルトの方法であるが、広く使われている LoRA と QLoRA は幾何に依存しない。 これにより、効果的な更新予算を増大させ、制約の弱い方向に沿ってドリフトを増幅することができる。 GRITはロラのパラメータ化を保ちつつも,(1)K-FACを自然な段階的プロキシとして使用したランク空間の勾配を前提条件として,(2)低ランク基底を周期的にドリフトを抑えるために支配的なフィッシャー固有方向へと再計画し,(3)スペクトルから有効ランクを適応し,信号が存在する場所に集中させる。 LLaMAのバックボーン上でのインストラクションフォロー、理解、推論のベンチマーク全体にわたって、GRITはLoRAとQLoRAにマッチするか、あるいは超え、トレーニング可能なパラメータを平均で46%削減する(タスク全体で25～80%)。 忘れをモデル化するために、曲率変調電力法則に適合する。 実証的に、GRITは強力なPEFT最適化器ベースライン(Orthogonal-LoRA, IA3, DoRA, Eff-FT, Shampoo)よりも低いドリフトと更新vs保持フロンティアが得られる。

関連論文リスト

• LoRA-MGPO: Mitigating Double Descent in Low-Rank Adaptation via Momentum-Guided Perturbation Optimization [16.360816770124874]
  LoRA-MGPO は Momentum-Guided Perurbation Optimization (MGPO) を組み込んだフレームワークである。 MGPOは勾配状態から運動量ベクトルを誘導する運動力学を安定化させる。 実験の結果, LoRA-MGPO は LoRA や他のPEFT 法よりも優れた性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2025-02-20T13:14:41Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• Adaptive Parameter-Efficient Federated Fine-Tuning on Heterogeneous Devices [24.725928966071212]
  Federated Fine-tuning (FedFT) は、事前訓練された言語モデルを分散的に微調整するために提案されている。 LEGENDと呼ばれる新しいLoRAベースのFedFTフレームワークを提案する。 我々は,LoRA深度とランク分布の結合関係を解析し,不均一デバイスに対する効率的なLoRA構成アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-12-28T04:00:42Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
  ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。 本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-03-18T23:20:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。