論文の概要: FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation

• arxiv url: http://arxiv.org/abs/2605.16800v1
• Date: Sat, 16 May 2026 04:03:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.09045
• Title: FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation
• Title（参考訳）: FIM-LoRA: Calibration-Time Gradient-Variance EstimationによるLoRAのタスク不変ランク割り当て
• Authors: Ramakrishnan Sathyavageeswaran,
• Abstract要約: 低ランク適応(LoRA)は、全ての適応された重み行列に均一なランクを割り当てる。 各LoRA-B行列の勾配分散を層情報化の代用として計算し, 等級予算を比例的に再分配する。 結果として得られるアダプタは、層ごとのランクパターンを持つ標準のLoRAである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank adaptation (LoRA) assigns a uniform rank to every adapted weight matrix - a practical convenience that ignores a fundamental reality: different layers contribute unequally to task adaptation. We address this with a lightweight engineering solution: before fine-tuning begins, run eight calibration backward passes, compute the gradient variance of each LoRA-B matrix as a proxy for layer informativeness, and redistribute the rank budget proportionally. The resulting adapter is a standard LoRA with a per-layer rank pattern - no new parameters, no training overhead, no changes to serving infrastructure. We implement this via an efficient approximation of the empirical Fisher Information Matrix (eFIM) diagonal, restricted to LoRA adapter matrices only, which reduces memory cost by approximately 256x compared to full-model Fisher estimation. On GLUE with DeBERTa-v3-base, FIM-LoRA matches LoRA (88.6 vs. 88.7) at the same parameter budget, and on commonsense reasoning with LLaMA-3-8B reaches 68.5 vs. 68.7 for LoRA. The per-layer rank maps are interpretable: value projections and early-to-middle layers consistently receive higher rank, consistent with established findings on transformer layer roles.
• Abstract（参考訳）: 低ランク適応(LoRA)は、すべての適応された重み行列に均一なランクを割り当てる - 基本的な現実を無視した実用的利便性 – 異なるレイヤがタスク適応に不平等に寄与する。 微調整を開始する前に、8つのキャリブレーションバックパスを実行し、各LoRA-B行列の勾配分散を層情報化のプロキシとして計算し、ランク予算を比例的に再分配する。 結果として得られたアダプタは、レイヤ単位のランクパターンを持つ標準のLoRAである。 実験的なFisher Information Matrix (eFIM) 対角線を効率よく近似して実装し、LoRAアダプタ行列のみに制限し、フルモデルFisher推定と比較してメモリコストを約256倍削減する。 GLUE with DeBERTa-v3-base, FIM-LoRA match LoRA (88.6 vs. 88.7) at the same parameter budget, and on commonsense reasoning with LLaMA-3-8B is 68.5 vs. 68.7 for LoRA。 値投影とアーリー・ツー・ミドル・レイヤは、トランスフォーマー・レイヤの役割に関する確立された知見と整合して、常に高いランクを受け取る。

関連論文リスト

• MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning [45.41768510181293]
  MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。 以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2026-05-08T15:13:01Z)
• Echo-LoRA: Parameter-Efficient Fine-Tuning via Cross-Layer Representation Injection [13.686308852232857]
  パラメータ効率の良い微調整のための層間表現注入法であるEcho-LoRAを提案する。 トレーニング中、Echo-LoRAは、深いソース層から境界隠れ状態を収集し、それらをサンプルレベルのエコー表現に集約し、軽量なプロジェクションネットワークを使用して、結果の信号を浅いLoRAまたはDoRAモジュールに注入する。 8つのコモンセンス推論ベンチマークにおいて、Echo-LoRAはLLaMA-7B、LLaMA2-7B、LLaMA3-8Bで報告されたLoRAベースラインを超える。
  論文  参考訳（メタデータ） (2026-05-05T08:26:11Z)
• GRIT -- Geometry-Aware PEFT with K-FACPreconditioning, Fisher-Guided Reprojection, andDynamic Rank Adaptation [4.748720471060117]
  GRITは、LoRAパラメータ化を保存する曲率対応のLoRAプロシージャである。 トレーニング可能なパラメータを平均で46%削減しながら、LoRAとQLoRAにマッチまたは超越する。 GRITは強力なPEFT最適化器ベースラインよりも低いドリフトと更新vs保持フロンティアが得られる。
  論文  参考訳（メタデータ） (2026-01-01T06:31:54Z)
• DenseLoRA: Dense Low-Rank Adaptation of Large Language Models [14.133511131962786]
  低ランク適応 (LoRA) は大規模言語モデル (LLM) に適応するための効率的なアプローチとして開発されている。 パラメータ効率を高めつつ,LoRAよりも優れた性能を実現する新しい手法であるDense Low-Rank Adaptation (DenseLoRA)を導入する。 我々はDenseLoRAを様々なベンチマークで評価し、LLaMA3-8B上のトレーニング可能なパラメータの0.70%とLoRAの80.8%の精度と比較して、トレーニング可能なパラメータの0.01%で83.8%の精度を達成することを示した。
  論文  参考訳（メタデータ） (2025-05-27T08:19:07Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。