論文の概要: Analyzing the Effect of Noise in LLM Fine-tuning

• arxiv url: http://arxiv.org/abs/2604.12469v1
• Date: Tue, 14 Apr 2026 08:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.354334
• Title: Analyzing the Effect of Noise in LLM Fine-tuning
• Title（参考訳）: LLM微調整におけるノイズの影響の解析
• Abstract要約: 3つの事前訓練されたモデルファミリーと3つの多様なNLPタスクのモデル行動に及ぼすノイズの影響について検討した。 本稿では,3種類の実世界の騒音(ラベルノイズ,文法ノイズ,タイポグラフィノイズ)に対応する制御摂動を導入する。 その結果, ラベルの劣化が常に最大の性能劣化を引き起こしているのに対し, 文法的ノイズとタイポグラフィ的ノイズは時折緩やかな正規化の恩恵をもたらすことが示唆された。
• 参考スコア（独自算出の注目度）: 8.326903332564365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning is the dominant paradigm for adapting pretrained large language models (LLMs) to downstream NLP tasks. In practice, fine-tuning datasets may contain various forms of noise arising from annotation errors, preprocessing artifacts, or automated data collection. While prior work has focused on designing robust learning algorithms to mitigate performance degradation under noisy conditions, comparatively little is known about how different types of noise affect the internal learning dynamics of LLMs during fine-tuning. In this work, we systematically study the impact of noise on model behavior across three pretrained model families (GPT-2, Qwen2 and Llama-2) and three diverse NLP tasks. We introduce controlled perturbations corresponding to three common real-world noise types: label noise, grammatical noise, and typographical noise. Beyond task-level performance, we analyze layer-wise representation changes and attention patterns to understand how noise propagates through the network. Our results show that corrupting labels (i.e. label noise) consistently causes the largest performance degradation, whereas grammatical noise and typographical noise can occasionally yield mild regularization benefits. We further find that noise effects are localized primarily to task-specific layers, while attention structures remain comparatively stable.
• Abstract（参考訳）: ファインチューニングは、訓練済みの大規模言語モデル(LLM)を下流のNLPタスクに適用するための主要なパラダイムである。 実際には、微調整データセットは、アノテーションエラー、前処理アーティファクト、自動データ収集から生じる様々な種類のノイズを含むことができる。 従来の研究では、ノイズの多い条件下での性能劣化を軽減するために頑健な学習アルゴリズムの設計に重点を置いていたが、音の種類の違いが微調整中のLLMの内部学習力学に与える影響についてはほとんど分かっていない。 本研究では、3つの事前訓練されたモデルファミリー(GPT-2, Qwen2, Llama-2)と3つの異なるNLPタスクのモデル行動に及ぼすノイズの影響を系統的に研究する。 本稿では,3種類の実世界の騒音(ラベルノイズ,文法ノイズ,タイポグラフィノイズ)に対応する制御摂動を導入する。 タスクレベルの性能の他に、階層的な表現の変化や注意パターンを分析し、ネットワークを通してノイズがどのように伝播するかを理解する。 その結果,ラベルの劣化(ラベルノイズ)が常に最大の性能劣化を引き起こすのに対し,文法的ノイズとタイポグラフィ的ノイズは時折緩やかな正規化の恩恵をもたらすことが示唆された。 さらに、ノイズ効果は主にタスク固有の層に局所化されているが、注意構造は比較的安定している。

関連論文リスト

• Noise-Robust Tiny Object Localization with Flows [63.60972031108944]
  フレキシブルなエラーモデリングと不確実性誘導最適化に正規化フローを活用するノイズローバストローカライゼーションフレームワークを提案する。 本手法は,フローベース誤差モデルを用いて,複雑な非ガウス予測分布を抽出し,ノイズの多い監視下で頑健な学習を可能にする。 不確実性を考慮した勾配変調機構は、トレーニングを安定化しながら過度な適合を緩和し、高不確実でノイズの強いサンプルからの学習をさらに抑制する。
  論文  参考訳（メタデータ） (2026-01-02T09:16:55Z)
• MANTRA: a Framework for Multi-stage Adaptive Noise TReAtment During Training [3.619444603816032]
  大規模リポジトリでは、ノイズやラベルの誤りによって、正確性と堅牢性の両方を低下させている。 本稿では,音の診断と緩和を微調整プロセスに直接組み込む多段階適応ノイズTReAtmentフレームワークMANTRAを提案する。
  論文  参考訳（メタデータ） (2025-12-03T23:09:55Z)
• Mitigating the Noise Shift for Denoising Generative Models via Noise Awareness Guidance [54.88271057438763]
  ノイズアウェアネスガイダンス (NAG) は、事前に定義された騒音スケジュールと整合性を保つために、サンプリング軌道を明示的に制御する補正手法である。 NAGは一貫してノイズシフトを緩和し、主流拡散モデルの生成品質を大幅に改善する。
  論文  参考訳（メタデータ） (2025-10-14T13:31:34Z)
• Enhance Vision-Language Alignment with Noise [59.2608298578913]
  本研究では,凍結モデルがカスタマイズノイズによって微調整可能であるか検討する。 ビジュアルエンコーダとテキストエンコーダの両方にノイズを注入することでCLIPを微調整できる正インセンティブノイズ(PiNI)を提案する。
  論文  参考訳（メタデータ） (2024-12-14T12:58:15Z)
• NoiseBench: Benchmarking the Impact of Real Label Noise on Named Entity Recognition [3.726602636064681]
  そこで本研究では,実雑音がシミュレーションノイズよりもはるかに難易度が高いことを示す。 ノイズロスト学習の最先端モデルが理論的に達成可能な上限よりもはるかに低くなることを示す。
  論文  参考訳（メタデータ） (2024-05-13T10:20:31Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding the Effect of Noise in LLM Training Data with Algorithmic Chains of Thought [0.0]
  思考の連鎖におけるノイズが,高度に制御された環境下でのタスクパフォーマンスに与える影響について検討する。 本研究では,CoTトレース処理後に適用される局所的な雑音と,トレース処理時にエラーを伝播する大域的なノイズであるテクトダイナミックノイズの2種類を定義した。 微調整されたモデルでは、高レベルの静的ノイズに対して非常に頑健であるが、低レベルの動的ノイズに対してかなり苦労している。
  論文  参考訳（メタデータ） (2024-02-06T13:59:56Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• An Investigation of Noise in Morphological Inflection [21.411766936034]
  本研究は, パイプライン内で発生するノイズの種類を, 真の教師なし形態素パラダイムの完成のために検討する。 異なる種類のノイズが複数の最先端インフレクションモデルに与える影響を比較した。 本稿では,文字レベルのマスク付き言語モデリング(CMLM)の事前学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:14:34Z)
• NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
  雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。 我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
  論文  参考訳（メタデータ） (2022-12-14T08:19:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。