論文の概要: Analyzing the Effect of Noise in LLM Fine-tuning

• arxiv url: http://arxiv.org/abs/2604.12469v1
• Date: Tue, 14 Apr 2026 08:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.354334
• Title: Analyzing the Effect of Noise in LLM Fine-tuning
• Title（参考訳）: LLM微調整におけるノイズの影響の解析
• Authors: Lingfang Li, Procheta Sen,
• Abstract要約: 3つの事前訓練されたモデルファミリーと3つの多様なNLPタスクのモデル行動に及ぼすノイズの影響について検討した。 本稿では,3種類の実世界の騒音(ラベルノイズ,文法ノイズ,タイポグラフィノイズ)に対応する制御摂動を導入する。 その結果, ラベルの劣化が常に最大の性能劣化を引き起こしているのに対し, 文法的ノイズとタイポグラフィ的ノイズは時折緩やかな正規化の恩恵をもたらすことが示唆された。
• 参考スコア（独自算出の注目度）: 8.326903332564365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning is the dominant paradigm for adapting pretrained large language models (LLMs) to downstream NLP tasks. In practice, fine-tuning datasets may contain various forms of noise arising from annotation errors, preprocessing artifacts, or automated data collection. While prior work has focused on designing robust learning algorithms to mitigate performance degradation under noisy conditions, comparatively little is known about how different types of noise affect the internal learning dynamics of LLMs during fine-tuning. In this work, we systematically study the impact of noise on model behavior across three pretrained model families (GPT-2, Qwen2 and Llama-2) and three diverse NLP tasks. We introduce controlled perturbations corresponding to three common real-world noise types: label noise, grammatical noise, and typographical noise. Beyond task-level performance, we analyze layer-wise representation changes and attention patterns to understand how noise propagates through the network. Our results show that corrupting labels (i.e. label noise) consistently causes the largest performance degradation, whereas grammatical noise and typographical noise can occasionally yield mild regularization benefits. We further find that noise effects are localized primarily to task-specific layers, while attention structures remain comparatively stable.
• Abstract（参考訳）: ファインチューニングは、訓練済みの大規模言語モデル(LLM)を下流のNLPタスクに適用するための主要なパラダイムである。 実際には、微調整データセットは、アノテーションエラー、前処理アーティファクト、自動データ収集から生じる様々な種類のノイズを含むことができる。 従来の研究では、ノイズの多い条件下での性能劣化を軽減するために頑健な学習アルゴリズムの設計に重点を置いていたが、音の種類の違いが微調整中のLLMの内部学習力学に与える影響についてはほとんど分かっていない。 本研究では、3つの事前訓練されたモデルファミリー(GPT-2, Qwen2, Llama-2)と3つの異なるNLPタスクのモデル行動に及ぼすノイズの影響を系統的に研究する。 本稿では,3種類の実世界の騒音(ラベルノイズ,文法ノイズ,タイポグラフィノイズ)に対応する制御摂動を導入する。 タスクレベルの性能の他に、階層的な表現の変化や注意パターンを分析し、ネットワークを通してノイズがどのように伝播するかを理解する。 その結果,ラベルの劣化(ラベルノイズ)が常に最大の性能劣化を引き起こすのに対し,文法的ノイズとタイポグラフィ的ノイズは時折緩やかな正規化の恩恵をもたらすことが示唆された。 さらに、ノイズ効果は主にタスク固有の層に局所化されているが、注意構造は比較的安定している。

関連論文リスト

• MANTRA: a Framework for Multi-stage Adaptive Noise TReAtment During Training [3.619444603816032]
  大規模リポジトリでは、ノイズやラベルの誤りによって、正確性と堅牢性の両方を低下させている。 本稿では,音の診断と緩和を微調整プロセスに直接組み込む多段階適応ノイズTReAtmentフレームワークMANTRAを提案する。
  論文  参考訳（メタデータ） (2025-12-03T23:09:55Z)
• Enhance Vision-Language Alignment with Noise [59.2608298578913]
  本研究では,凍結モデルがカスタマイズノイズによって微調整可能であるか検討する。 ビジュアルエンコーダとテキストエンコーダの両方にノイズを注入することでCLIPを微調整できる正インセンティブノイズ(PiNI)を提案する。
  論文  参考訳（メタデータ） (2024-12-14T12:58:15Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding the Effect of Noise in LLM Training Data with Algorithmic Chains of Thought [0.0]
  思考の連鎖におけるノイズが,高度に制御された環境下でのタスクパフォーマンスに与える影響について検討する。 本研究では,CoTトレース処理後に適用される局所的な雑音と,トレース処理時にエラーを伝播する大域的なノイズであるテクトダイナミックノイズの2種類を定義した。 微調整されたモデルでは、高レベルの静的ノイズに対して非常に頑健であるが、低レベルの動的ノイズに対してかなり苦労している。
  論文  参考訳（メタデータ） (2024-02-06T13:59:56Z)
• NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
  雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。 我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
  論文  参考訳（メタデータ） (2022-12-14T08:19:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。