論文の概要: Why LoRA Resists Label Noise: A Theoretical Framework for Noise-Robust Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2602.00084v1
• Date: Thu, 22 Jan 2026 22:56:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 02:03:42.352538
• Title: Why LoRA Resists Label Noise: A Theoretical Framework for Noise-Robust Parameter-Efficient Fine-Tuning
• Title（参考訳）: LoRAがラベルノイズに抵抗する理由:ノイズ・ロバストパラメーター効率の良いファインチューニングのための理論的枠組み
• Authors: Brady Steele,
• Abstract要約: Low-Rank Adaptation (LoRA) は、大規模な事前学習モデルに適応するための主要なパラダイムとなっている。 rank-r$LoRAは、サンプルサイズが$O(r(d+k-r))$を超えると、可能なラベルの割り当てを記憶できない。 RACT(Rank-Aware Curriculum Training)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning methods like Low-Rank Adaptation (LoRA) have become the dominant paradigm for adapting large pretrained models. We present a theoretical framework explaining an underexplored property: LoRA's inherent resistance to label noise. Our analysis reveals three key insights. First, we prove that rank-$r$ LoRA cannot memorize all possible label assignments once the sample size exceeds $O(r(d+k-r))$, limiting its capacity to fit arbitrary noise. Second, we derive an optimal rank balancing approximation bias and noise-induced variance, showing it decreases with noise rate. Third, we establish temporal separation: clean patterns are learned early while noise memorization occurs later. We propose RACT (Rank-Aware Curriculum Training), leveraging rank discrepancy for noise detection. Experiments validate our predictions, with RACT achieving 91.1% F1 for noise detection on AG News while maintaining 91.46% accuracy, competitive with baselines that lack noise detection capability.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) のようなパラメータ効率のよい微調整法は、大規模な事前学習モデルに適応するための主要なパラダイムとなっている。 本稿では, ラベルノイズに対するロラ固有の耐性について, 未探索特性を説明する理論的枠組みを提案する。 私たちの分析では3つの重要な洞察が浮かび上がっています。 まず、サンプルサイズが$O(r(d+k-r))$を超えると、ランク-$r$LoRAが全てのラベル割り当てを記憶できないことを証明し、任意のノイズに収まる能力を制限する。 第2に、近似バイアスと雑音誘起分散の最適なランクバランスを導出し、ノイズ率で減少することを示す。 第3に、時間的分離を確立する: クリーンパターンは早期に学習され、ノイズの記憶は後で起こる。 RACT(Rank-Aware Curriculum Training)を提案する。 RACTはAG Newsのノイズ検出において91.1%のF1を達成し、91.46%の精度を維持しながら、ノイズ検出能力に欠けるベースラインと競合する。

関連論文リスト

• Noise-corrected GRPO: From Noisy Rewards to Unbiased Gradients [8.43115247753727]
  この研究は、現代のRLHFを用いた教師あり学習からのラベルノイズ補正を橋渡しする。 理論的な洞察と、ノイズの多い現実世界の展開のための実用的なアルゴリズムの両方を提供する。
  論文  参考訳（メタデータ） (2025-10-21T10:14:49Z)
• How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime? [78.0226274470175]
  我々は、勾配更新にラベルノイズを導入することで、ニューラルネットワーク(NN)のテスト性能が向上するかどうか検討する。 学習中のラベルノイズの付加は,学習過程を支配することを防止し,雑音の記憶を抑制することを実証する。 対照的に、標準GDで訓練されたNNは、同じ低SNR環境でのノイズに過度に適応する傾向にある。
  論文  参考訳（メタデータ） (2025-10-20T13:28:13Z)
• Can Language Models Perform Robust Reasoning in Chain-of-thought Prompting with Noisy Rationales? [19.13886382791074]
  本稿では,大規模言語モデル (LLM) における未探索課題について考察する。 雑音有理数の存在下での推論の堅牢性を評価するために,我々はNoRaデータセットを構築した。 ノイズチェーン・オブ・シント(CD-CoT)を用いたコントラッシブデノケーション法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T12:07:44Z)
• DEeR: Deviation Eliminating and Noise Regulating for Privacy-preserving Federated Low-rank Adaptation [29.30782543513243]
  我々は、UnderlineDeviation UnderlineEliminatingとNoisunderlinee Underline Regulating (DEeR)と呼ばれるプライバシー保護フェデレーションファインタニングフレームワークを提案する。 DeeRは、最先端のアプローチと比較して、公開医療データセットのパフォーマンスが向上していることを示す。
  論文  参考訳（メタデータ） (2024-10-16T18:11:52Z)
• Label Noise: Correcting the Forward-Correction [0.0]
  ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。 ラベルノイズによる過度適合に対処する手法を提案する。 本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
  論文  参考訳（メタデータ） (2023-07-24T19:41:19Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。