論文の概要: CleaR: Towards Robust and Generalized Parameter-Efficient Fine-Tuning for Noisy Label Learning

• arxiv url: http://arxiv.org/abs/2411.00873v1
• Date: Thu, 31 Oct 2024 05:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:31.120286
• Title: CleaR: Towards Robust and Generalized Parameter-Efficient Fine-Tuning for Noisy Label Learning
• Title（参考訳）: CleaR:雑音ラベル学習のためのロバストで一般化されたパラメータ効率の良い微調整を目指して
• Authors: Yeachan Kim, Junho Kim, SangKeun Lee,
• Abstract要約: 雑音ラベル下での各種PEFT法について検討する。 PEFTは,本態性に限界があるため,ノイズラベルの記憶が困難であることが判明した。 PEFTモジュールを適応的に活性化する新しいルーティングベースのPEFTアプローチであるCleaRを提案する。
• 参考スコア（独自算出の注目度）: 19.205541380535397
• License:
• Abstract: Parameter-efficient fine-tuning (PEFT) has enabled the efficient optimization of cumbersome language models in real-world settings. However, as datasets in such environments often contain noisy labels that adversely affect performance, PEFT methods are inevitably exposed to noisy labels. Despite this challenge, the adaptability of PEFT to noisy environments remains underexplored. To bridge this gap, we investigate various PEFT methods under noisy labels. Interestingly, our findings reveal that PEFT has difficulty in memorizing noisy labels due to its inherently limited capacity, resulting in robustness. However, we also find that such limited capacity simultaneously makes PEFT more vulnerable to interference of noisy labels, impeding the learning of clean samples. To address this issue, we propose Clean Routing (CleaR), a novel routing-based PEFT approach that adaptively activates PEFT modules. In CleaR, PEFT modules are preferentially exposed to clean data while bypassing the noisy ones, thereby minimizing the noisy influence. To verify the efficacy of CleaR, we perform extensive experiments on diverse configurations of noisy labels. The results convincingly demonstrate that CleaR leads to substantially improved performance in noisy environments.
• Abstract（参考訳）: パラメータ効率のよい微調整 (PEFT) により、実世界の環境下での煩雑な言語モデルの効率的な最適化が可能となった。 しかしながら、そのような環境でのデータセットは、性能に悪影響を及ぼすノイズのあるラベルを含むことが多いため、PEFT法は必然的にノイズの多いラベルに露出する。 この課題にもかかわらず、PEFTの雑音環境への適応性は未調査のままである。 このギャップを埋めるために,雑音ラベル下での各種PEFT法について検討する。 興味深いことに,PEFTは本態性に限界があるため,ノイズラベルの記憶が困難であり,堅牢性も高いことが判明した。 しかし,これらの制限によりPEFTはノイズラベルの干渉に対して脆弱になり,クリーンサンプルの学習が阻害されることが判明した。 そこで本研究では,PEFTモジュールを適応的に活性化する新しいルーティングベースPEFTアプローチであるCleaRを提案する。 CleaRでは、PEFTモジュールはノイズを回避しながらクリーンデータに優先的に露出し、ノイズの影響を最小限に抑える。 CleaRの有効性を検証するため,ノイズラベルの多種多様な構成について広範な実験を行った。 結果は、CleaRがノイズの多い環境での大幅なパフォーマンス向上につながっていることを確実に示している。

関連論文リスト

• One-step Noisy Label Mitigation [86.57572253460125]
  ノイズラベルのトレーニング過程に対する有害な影響の軽減がますます重要になっている。 モデルに依存しないノイズラベル緩和パラダイムである1ステップアンチノイズ(OSA)を提案する。 我々はOSAの優位性を実証的に実証し、トレーニングの堅牢性の向上、タスク転送性の向上、デプロイメントの容易性、計算コストの削減を強調した。
  論文  参考訳（メタデータ） (2024-10-02T18:42:56Z)
• SoftPatch: Unsupervised Anomaly Detection with Noisy Data [67.38948127630644]
  本稿では,画像センサ異常検出におけるラベルレベルのノイズを初めて考察する。 本稿では,メモリベースの非教師付きAD手法であるSoftPatchを提案する。 既存の手法と比較して、SoftPatchは通常のデータの強力なモデリング能力を維持し、コアセットにおける過信問題を軽減する。
  論文  参考訳（メタデータ） (2024-03-21T08:49:34Z)
• Pi-DUAL: Using Privileged Information to Distinguish Clean from Noisy Labels [47.85182773875054]
  クリーンなラベルを識別するために特権情報(PI)を利用するアーキテクチャであるPi-DUALを導入する。 Pi-DUALは、主要なPIベンチマークで大幅なパフォーマンス向上を実現し、新しい最先端のテストセットの精度を確立する。 Pi-DUALは、PIを用いた様々な現実シナリオにおけるラベルノイズの影響を軽減するための、シンプルでスケーラブルで実践的なアプローチである。
  論文  参考訳（メタデータ） (2023-10-10T13:08:50Z)
• FedNoisy: Federated Noisy Label Learning Benchmark [53.73816587601204]
  フェデレーション学習は、クライアントからの機密データを集約することなく、分散学習で人気を集めている。 データ分離の分散と分離の性質は、データ品質によって複雑になり、ノイズの多いラベルに対してより脆弱になる可能性がある。 私たちは、研究者が潜在的にフェデレートされたノイズ設定を十分に調査するのに役立つ、最初の標準ベンチマークを提供しています。
  論文  参考訳（メタデータ） (2023-06-20T16:18:14Z)
• Parameter-Efficient Language Model Tuning with Active Learning in Low-Resource Settings [3.490038106567192]
  テキスト分類タスクの低リソース設定におけるアクティブラーニング(AL)とパラメータ効率細調整(PEFT)の相互作用について検討した。 本研究は,低リソース環境下でのFFTよりもPEFTの方が優れていることを実証し,この利点がAL設定で持続することを示した。 本研究は、低リソース環境におけるALとPEFTの相乗的ポテンシャルを強調し、効率的かつ効果的な微調整の進歩の道を開くものである。
  論文  参考訳（メタデータ） (2023-05-23T23:27:20Z)
• When does Privileged Information Explain Away Label Noise? [66.9725683097357]
  ラベルノイズを除去する際のPIの特性の違いによる役割について検討する。 ネットワークがノイズの多いデータとクリーンなデータを容易に区別できる場合、PIが最も役立ちます。 本稿では,最新のPI手法のいくつかの改良を提案し,ラベルノイズに対処する手段としてのPIの可能性を示す。
  論文  参考訳（メタデータ） (2023-03-03T09:25:39Z)
• ALIM: Adjusting Label Importance Mechanism for Noisy Partial Label Learning [46.53885746394252]
  雑音部分ラベル学習は、弱教師付き学習の重要な分野である。 既存の研究のほとんどは、ノイズのあるサンプルを検出し、各ノイズのあるサンプルの基幹構造を推定しようと試みている。 我々は,ALIM(Adjusting Labeling Mechanism)と呼ばれる,理論的な保証を伴う雑音に対する新しい枠組みを提案する。 これは、初期候補セットとモデル出力をトレードオフすることで、検出エラーの負の影響を低減することを目的としている。
  論文  参考訳（メタデータ） (2023-01-28T03:42:53Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。