論文の概要: IFCLoRA: Topology-Aware Rank Allocation for Parameter-Efficient Fine-Tuning
- arxiv url: http://arxiv.org/abs/2607.22251v1
- Date: Fri, 24 Jul 2026 12:34:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:57.124969
- Title: IFCLoRA: Topology-Aware Rank Allocation for Parameter-Efficient Fine-Tuning
- Title（参考訳）: IFCLoRA:パラメータ効率の良いファインチューニングのためのトポロジーを考慮したランクアロケーション
- Abstract要約: Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。
IFCLoRAは、微調整前に適用されたトポロジ対応のランクアロケーション手法である。
- 参考スコア（独自算出の注目度）: 8.041472556779395
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-Rank Adaptation (LoRA) is a widely used parameter-efficient fine-tuning method for large language models, but its performance depends strongly on how a fixed rank budget is distributed across Transformer modules. Existing adaptive-rank methods usually rely on local gradient statistics collected during training, which introduces extra memory and computation and overlooks task-conditioned global information flow. We propose IFCLoRA, a topology-aware rank allocation method applied before fine-tuning. Using a small calibration set and a frozen pretrained model, IFCLoRA builds a sparse task-conditioned interaction graph whose nodes represent LoRA-compatible modules. It combines a global information-flow topology prior with local gradient sensitivity to compute Information-Flow Centrality scores, which estimate each module's adaptation importance under multi-hop propagation. Ranks are then assigned once under a global budget. Across multiple models, tasks, and low-rank settings, IFCLoRA consistently outperforms LoRA, AdaLoRA, and EVA under matched training configurations and total rank budgets, while retaining training costs comparable to standard LoRA. On mathematical reasoning with LLaMA 3 8B, IFCLoRA improves over LoRA by 1.36 percent at rank 4 and 1.82 percent at rank 8. Further analysis shows task-dependent, non-uniform rank profiles, indicating that global information-flow structure provides an informative and interpretable prior for low-budget parameter-efficient fine-tuning.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大規模言語モデルのパラメータ効率の良い微調整法として広く使われているが、その性能はTransformerモジュール間の固定階数予算の分散方法に大きく依存している。
既存のアダプティブ・ランク法は通常、トレーニング中に収集された局所的な勾配統計に頼り、メモリと計算を余分に導入し、タスク条件のグローバルな情報の流れを見落としている。
IFCLoRAは、微調整前に適用されたトポロジ対応のランクアロケーション手法である。
小さなキャリブレーションセットと凍結事前訓練モデルを用いて、IFCLoRAは、ノードがLoRA互換モジュールを表すスパースタスク条件の相互作用グラフを構築する。
グローバルな情報フロートポロジと局所勾配感度を組み合わせて情報フロー中央度スコアを計算し、マルチホップ伝搬下で各モジュールの適応の重要性を推定する。
その後、グローバルな予算の下で1度、ランクが割り当てられる。
複数のモデル、タスク、低ランク設定において、IFCLoRAは、標準のLoRAに匹敵するトレーニングコストを維持しながら、整合したトレーニング設定と総ランク予算の下で、一貫してLoRA、AdaLoRA、EVAを上回っている。
LLaMA 3 8Bの数学的推論では、IFCLoRAはランク4で1.36パーセント、ランク8で1.82パーセント改善している。
さらに、タスク依存の非一様ランクプロファイルが示され、グローバル情報フロー構造が低予算パラメータ効率の微調整に先立って情報的かつ解釈可能な情報を提供することを示している。
関連論文リスト
- One Rate Is Not Enough: Adaptive Anisotropic Learning Rates for LoRA Fine-Tuning [26.741445807383098]
低ランク適応(LoRA)は、大規模言語モデルのパラメータ効率の高い微調整の標準となっている。
我々は,LoRAアダプタのランク1成分が高度に不均一な速度で更新され,低速度モジュールが集中特異スペクトルに収束することを示す。
適応型異方性学習率モデルを提案する。
論文 参考訳（メタデータ） (2026-09-05T05:14:04Z) - SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation [0.0]
低ランク適応(LoRA)は、全ての適応された重み行列に均一なランクを割り当てる。
各LoRA-B行列の勾配分散を層情報化の代用として計算し, 等級予算を比例的に再分配する。
結果として得られるアダプタは、層ごとのランクパターンを持つ標準のLoRAである。
論文 参考訳（メタデータ） (2026-05-16T04:03:21Z) - MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning [45.41768510181293]
MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。
以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
論文 参考訳（メタデータ） (2026-05-08T15:13:01Z) - Post-Optimization Adaptive Rank Allocation for LoRA [10.796887002907456]
Post-Optimization Adaptive Rank Allocation (PARA) はローランド適応データ自由圧縮法である。
我々は,既存の微調整パイプラインにシームレスに統合されたLoRAのデータフリー圧縮手法であるPARAを提案する。
PARAは、視覚および言語ベンチマークにおけるオリジナルの圧縮されていないLoRAの予測性能を維持しながら、パラメータ数を75-90%削減することを示した。
論文 参考訳（メタデータ） (2026-04-30T12:40:11Z) - Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning [48.66442009036754]
Low-Rank Adaptation (LoRA)は、効率的な大規模言語モデルの微調整のための一般的なアプローチである。
本研究では,バニラ・ロラとともに4つの代表的ロラ変種を再評価する。
異なるLoRA手法が学習率の異なる範囲を好んでいることが判明した。
論文 参考訳（メタデータ） (2026-02-04T19:36:20Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [12.733972494875713]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。
低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。
LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2024-11-22T14:19:01Z) - Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。
また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文 参考訳（メタデータ） (2024-09-22T11:24:10Z) - LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。
計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。
低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
論文 参考訳（メタデータ） (2024-07-25T17:57:12Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳（メタデータ） (2024-01-20T20:25:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。