論文の概要: MANTRA: a Framework for Multi-stage Adaptive Noise TReAtment During Training

• arxiv url: http://arxiv.org/abs/2512.04319v1
• Date: Wed, 03 Dec 2025 23:09:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:45.921674
• Title: MANTRA: a Framework for Multi-stage Adaptive Noise TReAtment During Training
• Title（参考訳）: MANTRA:多段階適応型騒音評価フレームワーク
• Authors: Zixiao Zhao, Fatemeh H. Fard, Jie JW Wu,
• Abstract要約: 大規模リポジトリでは、ノイズやラベルの誤りによって、正確性と堅牢性の両方を低下させている。 本稿では,音の診断と緩和を微調整プロセスに直接組み込む多段階適応ノイズTReAtmentフレームワークMANTRAを提案する。
• 参考スコア（独自算出の注目度）: 3.619444603816032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The reliable application of deep learning models to software engineering tasks hinges on high-quality training data. Yet, large-scale repositories inevitably introduce noisy or mislabeled examples that degrade both accuracy and robustness. While Noise Label Learning (NLL) has been extensively studied in other fields, there are a few works that investigate NLL in Software Engineering (SE) and Large Language Models (LLMs) for SE tasks. In this work, we propose MANTRA, a Multi-stage Adaptive Noise TReAtment framework that embeds noise diagnosis and mitigation directly into the fine-tuning process of code-Pretrained Language Models (PTM) and code-LLMs. We first investigate the effect of noise at varying levels on convergence and loss trajectories of the models. Then we apply an adaptive dropout strategy guided by per-sample loss dynamics and Gaussian Mixture Model clustering to exclude persistently noisy points while preserving clean data. Applying to code summarization and commit intent classification, our experiments reveal that some LLMs are more sensitive to noise than others. However, with MANTRA, the performance of all models in both tasks is improved. MANTRA enables researchers and practitioners to reduce the impact of errors introduced by the dataset in training, saves time in data cleaning and processing, while maximizing the effect of fine-tuning.
• Abstract（参考訳）: ディープラーニングモデルのソフトウェアエンジニアリングタスクへの信頼性の高い応用は、高品質なトレーニングデータに基づいている。 しかし、大規模なリポジトリは、必然的に、正確性と堅牢性の両方を低下させるノイズやラベルの間違えた例を導入します。 ノイズラベル学習(NLL)は他の分野で広く研究されているが、ソフトウェア工学(SE)におけるNLLとSEタスクのためのLarge Language Models(LLM)を調査する研究はいくつかある。 本研究では,多段階適応ノイズTReAtmentフレームワークであるMANTRAを提案する。このフレームワークは,PTM(Code-Pretrained Language Models)とLLM(Code-LLMs)の微調整プロセスに直接ノイズ診断と緩和を組み込む。 まず,各レベルの雑音がモデルの収束と損失軌跡に与える影響について検討する。 次に、サンプル単位の損失ダイナミクスとガウス混合モデルクラスタリングによって導かれる適応的なドロップアウト戦略を適用し、クリーンなデータを保存しながら、永続的にノイズの多い点を除外する。 コード要約やコミット意図分類に応用して,実験により,LLMはノイズに敏感なものもあれば,ノイズに敏感なものもあることがわかった。 しかし、MANTRAでは、両方のタスクにおける全てのモデルのパフォーマンスが改善されている。 MANTRAは、トレーニングにおいてデータセットが導入したエラーの影響を低減し、データのクリーニングと処理に要する時間を節約し、微調整の効果を最大化する。

関連論文リスト

• Hide and Seek in Noise Labels: Noise-Robust Collaborative Active Learning with LLM-Powered Assistance [17.359530437698723]
  ノイズラベル(LNL)からの学習は、収集されたトレーニングデータが誤ったラベルや破損したラベルを含むことができる多くの実世界のシナリオで発生する課題である。 既存のソリューションのほとんどは、ノイズの多いラベルを特定し、アクティブな学習を採用して、人間の専門家にノイズを問う。 本稿では,大規模な言語モデルと,雑音ラベルから学習するための小さなモデルを組み合わせた,能動的学習に基づく革新的な協調学習フレームワークであるNossalを提案する。
  論文  参考訳（メタデータ） (2025-04-03T04:36:39Z)
• RobustFT: Robust Supervised Fine-tuning for Large Language Models under Noisy Response [23.45168175163634]
  監視された微調整(SFT)は、特定のドメインやタスクに大規模言語モデル(LLM)を適用する上で重要な役割を果たす。 本稿では,下流のタスクデータに対してノイズ検出とレバーベリングを行う頑健なSFTフレームワーク(RobustFT)を提案する。 5つのデータセットにわたる複数のLLMで実施された大規模な実験は、ノイズの多いシナリオにおけるRobostFTの例外的なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-12-19T15:00:18Z)
• One-step Noisy Label Mitigation [86.57572253460125]
  ノイズラベルのトレーニング過程に対する有害な影響の軽減がますます重要になっている。 モデルに依存しないノイズラベル緩和パラダイムである1ステップアンチノイズ(OSA)を提案する。 我々はOSAの優位性を実証的に実証し、トレーニングの堅牢性の向上、タスク転送性の向上、デプロイメントの容易性、計算コストの削減を強調した。
  論文  参考訳（メタデータ） (2024-10-02T18:42:56Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。