論文の概要: Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures

• arxiv url: http://arxiv.org/abs/2607.21612v1
• Date: Sat, 23 May 2026 17:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.94139
• Title: Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures
• Title（参考訳）: 手続き的知識は低レベルではない - LoRAがマルチステップの手続きを内部化できない理由
• Abstract要約: 我々は,LoRAが効率の優位性を維持するランクにおいて,完全な微調整に間に合わないことを示す。 発見は、手続き的なタスクが完全な微調整にかなり足りていないことを証明している。
• 参考スコア（独自算出の注目度）: 1.6214121783846343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning methods like LoRA have become the default for adapting large language models, succeeding across instruction following, style transfer, and factual adaptation. We show that for procedural knowledge--the ability to follow multi-step procedures with conditional branching through to terminal states--LoRA fails to match full fine-tuning at the ranks where it retains its efficiency advantage. In a systematic ablation (r = 16--128) on a procedural travel booking task (14 nodes), all LoRA configurations fail uniformly (task success <= 2.54 vs. 4.11 for full fine-tuning, all p < 0.001), with scores decreasing at higher ranks--despite maintaining 95--99% conversation completion rates. Cross-domain replication on Zoom support (14 nodes) and insurance claims (55 nodes) at 8B confirms the failure generalizes: LoRA underperforms full fine-tuning by 0.8--2.2 points on average at both r = 32 and r = 128, with the largest gap on the most complex procedure. Quadrupling rank from 32 to 128 provides marginal improvement but does not close the gap. SVD analysis of the weight changes produced by full fine-tuning explains why: across three domains at both 3B and 8B, the mean effective rank of the update ranges from 761 to 1,026, and rank 128 captures only 43--51% of the squared Frobenius norm. Together, these findings establish that for procedural tasks LoRA falls well short of full fine-tuning--a fundamental limitation for agentic applications.
• Abstract（参考訳）: LoRAのようなパラメータ効率のよい微調整手法は、大きな言語モデルを適応するためのデフォルトとなり、命令従順、スタイル転送、事実適応に成功している。 手続き的知識 - 条件分岐を終端状態に通す多段階的な手順に従う能力 - に対して、LoRAは、その効率の優位性を維持するランクにおいて、完全な微調整に適合しないことを示す。 手続き的旅行予約タスク(14ノード)における体系的アブレーション(r = 16--128)では、すべてのLoRA構成が一様に失敗し(タスク成功 <= 2.54 vs. 4.11 で完全な微調整が可能、p < 0.001)、95-99%の会話完了率を維持しながら、より高いランクでスコアが低下する。 Zoomサポート(14ノード)と保険請求(55ノード)のクロスドメインレプリケーションでは、障害の一般化が確認されている。 32から128までの4倍のランクは、限界的な改善をもたらすが、ギャップを埋めることはない。 3Bと8Bの両方の3つの領域において、更新の平均有効ランクは761から1,026、ランク128は正方形のフロベニウスノルムの43～51%しか取得できない。 これらの結果から, 手続き的タスクに対しては, エージェントアプリケーションの基本的制限である, 完全な微調整に欠けることが判明した。

関連論文リスト

• SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling [17.873016968298483]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 我々は,静的な専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LoRA(SOS-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-06-27T03:25:36Z)
• Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence [30.96331195818476]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルを微調整するための最も広く採用されている手法である。 バランス付き多様体に反復を射影するLoRAの変種BaLoRAを導入する。 BaLoRAは標準のLoRAよりも早く収束し、様々な微調整タスクで優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-29T16:08:28Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation [0.0]
  低ランク適応(LoRA)は、全ての適応された重み行列に均一なランクを割り当てる。 各LoRA-B行列の勾配分散を層情報化の代用として計算し, 等級予算を比例的に再分配する。 結果として得られるアダプタは、層ごとのランクパターンを持つ標準のLoRAである。
  論文  参考訳（メタデータ） (2026-05-16T04:03:21Z)
• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• D2-LoRA: A Synergistic Approach to Differential and Directional Low-Rank Adaptation [0.24636535146231608]
  D2-LoRAは8つの質問応答と読解ベンチマークで76.4%の平均精度を達成した。 この方法は、符号付き低ランク残差更新と追加的および減算的コンポーネント、および列車時列ワイドプロジェクションを組み合わせたものである。
  論文  参考訳（メタデータ） (2026-02-16T13:19:42Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。