論文の概要: Learning in the Fisher Subspace: A Guided Initialization for LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.01046v2
• Date: Tue, 05 May 2026 09:02:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 14:45:21.237226
• Title: Learning in the Fisher Subspace: A Guided Initialization for LoRA Fine-Tuning
• Title（参考訳）: 漁業サブスペースにおける学習:LoRAファインチューニングのためのガイド付き初期化
• Authors: Zhi-Quan Feng, Ying-Jia Lin, Hung-Yu Kao,
• Abstract要約: LoRAは、事前訓練された重みの低ランク部分空間への更新を制限することで、大きな言語モデルに適応する。 重みのみの尺度ではなく、データ認識の感度が適応部分空間の選択を左右するべきだと我々は主張する。
• 参考スコア（独自算出の注目度）: 9.642506293123976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LoRA adapts large language models (LLMs) by restricting updates to low-rank subspaces of pre-trained weights. While this substantially reduces training cost, the effectiveness of adaptation critically depends on which subspace is chosen at initialization: a poor initialization that allocates capacity to task-irrelevant directions can severely hinder downstream performance. Existing initialization strategies primarily rely on the intrinsic properties of pre-trained weights, implicitly assuming that weight geometry alone reflects task relevance. However, such criteria overlook how the model interacts with the downstream data distribution. In this work, we formulate LoRA initialization as identifying the degree of impact of directions in parameter space under the target data distribution. We argue that data-aware sensitivity, rather than weight-only magnitude, should govern the choice of adaptation subspaces. Building on this perspective, we propose a Fisher-guided framework that leverages curvature information induced by downstream data to characterize how parameter perturbations influence model predictions. This perspective yields a principled, task-dependent criterion for selecting LoRA directions that better align adaptation with the target objective. Empirical results across diverse tasks and modalities demonstrate that data-aware initialization consistently and significantly improves downstream performance over existing approaches.
• Abstract（参考訳）: LoRAは、事前訓練された重みの低ランク部分空間への更新を制限することで、大きな言語モデル(LLM)に適応する。 これはトレーニングコストを大幅に削減するが、適応の有効性は初期化時にどの部分空間を選択するかに大きく依存する。 既存の初期化戦略は、主に事前訓練された重みの本質的な性質に依存しており、ウェイト幾何学だけがタスクの関連性を反映していると暗黙的に仮定している。 しかし、そのような基準は、モデルが下流のデータ分布とどのように相互作用するかを見落としている。 本研究では,LoRAの初期化を,対象データ分布のパラメータ空間における方向の影響度として定式化する。 重みのみの規模ではなく、データ認識の感度が適応部分空間の選択を左右するべきだと我々は主張する。 この観点から、下流データによって誘導される曲率情報を活用し、パラメータ摂動がモデル予測にどのように影響するかを特徴付けるFisher-Guidedフレームワークを提案する。 この視点は、目標目標への適応をより良く整合させるLoRA方向を選択するための、原則化されたタスク依存の基準を与える。 多様なタスクやモダリティにまたがる実証的な結果は、データ認識の初期化が既存のアプローチよりも一貫して、ダウンストリームのパフォーマンスを大幅に向上することを示している。

関連論文リスト

• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• Data-Efficient RLVR via Off-Policy Influence Guidance [84.60336960383867]
  本研究は,学習目標に対する各データポイントの寄与を推定するために,影響関数を用いた理論的基礎的アプローチを提案する。 textbfCurriculum textbfRL with textbfOff-textbfPolicy textInfluence Guide (textbfCROPI) は多段階のRLフレームワークで、現在のポリシーにおいて最も影響力のあるデータを反復的に選択する。
  論文  参考訳（メタデータ） (2025-10-30T13:40:52Z)
• LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis [33.708800231646606]
  データ認識型LoRAの理論的枠組みを確立した。 そこで我々は,目標領域の少数のサンプルから最適化問題の項を推定するアルゴリズムLoRA-DAを開発した。 さらなる研究により、より速く、より安定な収束、ランク間の堅牢性、LoRA-DAのオーバーヘッドはわずかである。
  論文  参考訳（メタデータ） (2025-10-28T15:55:36Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• IPA: An Information-Preserving Input Projection Framework for Efficient Foundation Model Adaptation [56.72132739364876]
  隠れた空間の情報を明示的に保存する特徴認識型プロジェクションフレームワークであるIPAを提案する。 IPAはLoRAとDoRAを一貫して改善し、平均1.5ポイントの精度でコモンセンス推論を行う。
  論文  参考訳（メタデータ） (2025-09-04T17:10:01Z)
• ConsNoTrainLoRA: Data-driven Weight Initialization of Low-rank Adapters using Constraints [64.35580479051208]
  以前の作品では、ローランクアダプタ (LoRA) はすべてのアタッチメントポイントに対してランダムに固定されたランクである。 本稿では,データ駆動重み初期化法を用いて,LoRAファインチューニングの収束性と最終性能を改善する。
  論文  参考訳（メタデータ） (2025-07-09T23:52:31Z)
• Next Token Perception Score: Analytical Assessment of your LLM Perception Skills [12.093755170926762]
  Next Token Perception Score (NTPS) は、自己回帰的特徴空間と知覚的特徴部分空間の重なりを測定する線形設定の下で導出されるスコアである。 NTPSはローランク適応(LoRA)ファインチューニング後に増加し,特に大規模モデルでは顕著である。 本研究は, 理論的知見と, 知覚能力の分析的評価を行うための実践的ツールの両方を提供する。
  論文  参考訳（メタデータ） (2025-05-22T17:18:51Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。