論文の概要: Exploring the Robustness of In-Context Learning with Noisy Labels
- arxiv url: http://arxiv.org/abs/2404.18191v2
- Date: Wed, 1 May 2024 09:15:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 11:09:15.413059
- Title: Exploring the Robustness of In-Context Learning with Noisy Labels
- Title（参考訳）: 雑音ラベルを用いたインテクスト学習のロバストさの探索
- Authors: Chen Cheng, Xinzhi Yu, Haodong Wen, Jingsong Sun, Guanzhang Yue, Yihao Zhang, Zeming Wei,
- Abstract要約: 実験では,トランスフォーマーは様々な種類のノイズに対して顕著な耐性を示すことを示す。
また、トレーニングセットにノイズを導入することは、データ拡張の形式に似ており、推論中にそのような堅牢性を高めるかどうかについても検討する。
- 参考スコア（独自算出の注目度）: 5.6196021491757495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the mysterious In-Context Learning (ICL) ability exhibited by Transformer architectures, especially in large language models (LLMs), has sparked significant research interest. However, the resilience of Transformers' in-context learning capabilities in the presence of noisy samples, prevalent in both training corpora and prompt demonstrations, remains underexplored. In this paper, inspired by prior research that studies ICL ability using simple function classes, we take a closer look at this problem by investigating the robustness of Transformers against noisy labels. Specifically, we first conduct a thorough evaluation and analysis of the robustness of Transformers against noisy labels during in-context learning and show that they exhibit notable resilience against diverse types of noise in demonstration labels. Furthermore, we delve deeper into this problem by exploring whether introducing noise into the training set, akin to a form of data augmentation, enhances such robustness during inference, and find that such noise can indeed improve the robustness of ICL. Overall, our fruitful analysis and findings provide a comprehensive understanding of the resilience of Transformer models against label noises during ICL and provide valuable insights into the research on Transformers in natural language processing. Our code is available at https://github.com/InezYu0928/in-context-learning.
- Abstract（参考訳）: 近年、トランスフォーマーアーキテクチャ、特に大規模言語モデル(LLM)において、謎のインコンテキスト学習(ICL)能力が注目されている。
しかし, 学習コーパスと即時デモンストレーションの両方でよく見られるノイズのあるサンプルの存在下でのトランスフォーマーの文脈内学習能力のレジリエンスは, 未解明のままである。
本稿では,単純な関数クラスを用いたICL能力の研究に触発されて,雑音ラベルに対するトランスフォーマーの堅牢性を調べることによって,この問題をより深く検討する。
具体的には、まず、テキスト内学習における雑音ラベルに対するトランスフォーマーの頑健さを徹底的に評価し、実演ラベルにおける様々な種類の雑音に対する顕著な耐性を示すことを示す。
さらに、トレーニングセットにノイズを導入するか、データ拡張の形式に類似し、推論中にそのようなロバスト性を高め、そのようなノイズがICLのロバスト性を向上させることができることを確かめることにより、この問題を深く掘り下げる。
我々の実りある分析と知見は、ICL中のラベルノイズに対するトランスフォーマーモデルのレジリエンスを包括的に理解し、自然言語処理におけるトランスフォーマーの研究に関する貴重な知見を提供する。
私たちのコードはhttps://github.com/InezYu0928/in-context-learningで利用可能です。
関連論文リスト
- Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。
注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
論文 参考訳（メタデータ） (2024-09-20T07:41:47Z) - NoisyAG-News: A Benchmark for Addressing Instance-Dependent Noise in Text Classification [7.464154519547575]
ノイズラベルを用いた学習に関する既存の研究は、主に合成ノイズパターンに焦点を当てている。
実世界のテキスト分類設定においてラベルノイズをよりよく理解するためのベンチマークデータセットを構築した。
以上の結果から,事前学習モデルでは合成ノイズに耐性があるものの,インスタンス依存ノイズには耐え難いことが判明した。
論文 参考訳（メタデータ） (2024-07-09T06:18:40Z) - Enhancing Noise Robustness of Retrieval-Augmented Language Models with Adaptive Adversarial Training [39.21885486667879]
大型言語モデル(LLM)は、幻覚、時代遅れの知識、追跡不能な推論プロセスなどの課題に遭遇する重大な能力を示す。
Retrieval-augmented Generation(RAG)は、これらの課題を軽減するために、外部データベースからの知識を統合する、有望なソリューションとして登場した。
本稿では,RAAT(Retrieval-augmented Adaptive Adrial Training)として知られる新しいRAGアプローチを提案する。
論文 参考訳（メタデータ） (2024-05-31T16:24:53Z) - Boosting Transformer's Robustness and Efficacy in PPG Signal Artifact
Detection with Self-Supervised Learning [0.0]
本研究は、自己教師付き学習(SSL)を用いて、このデータから潜伏した特徴を抽出することにより、豊富なラベル付きデータの未利用に対処する。
実験の結果,SSLはTransformerモデルの表現学習能力を大幅に向上させることがわかった。
このアプローチは、注釈付きデータがしばしば制限されるPICU環境において、より広範なアプリケーションに対して約束される。
論文 参考訳（メタデータ） (2024-01-02T04:00:48Z) - Analyze the Robustness of Classifiers under Label Noise [5.708964539699851]
教師付き学習におけるラベルノイズは、誤ったラベルまたは不正確なラベルによって特徴づけられ、モデル性能を著しく損なう。
本研究は, ラベルノイズが実用的応用に与える影響について, ますます関連する問題に焦点をあてる。
論文 参考訳（メタデータ） (2023-12-12T13:51:25Z) - Improving the Robustness of Summarization Systems with Dual Augmentation [68.53139002203118]
頑健な要約システムは、入力中の特定の単語の選択やノイズに関わらず、文書のギストをキャプチャできるべきである。
まず,単語レベルの同義語置換や雑音を含む摂動に対する要約モデルの頑健性について検討する。
SummAttackerを提案する。これは言語モデルに基づく対数サンプルを生成するための効率的な手法である。
論文 参考訳（メタデータ） (2023-06-01T19:04:17Z) - Enhancing Contrastive Learning with Noise-Guided Attack: Towards
Continual Relation Extraction in the Wild [57.468184469589744]
我々はtextbfContrative textbfLearning(NaCL) における textbfNoise-guided textbf attack という名前の耐雑音性コントラストフレームワークを開発する。
直接雑音除去や到達不能雑音回避と比較して,攻撃により与えられた雑音ラベルに一致するように特徴空間を変更する。
論文 参考訳（メタデータ） (2023-05-11T18:48:18Z) - ASiT: Local-Global Audio Spectrogram vIsion Transformer for Event
Classification [42.95038619688867]
ASiTは、グループマスク付きモデル学習と自己蒸留を用いて、局所的およびグローバルな文脈情報をキャプチャする、新しい自己教師型学習フレームワークである。
我々は、音声イベント分類、キーワードスポッティング、話者識別を含む音声および音声の分類タスクにおいて、事前訓練されたモデルを評価する。
論文 参考訳（メタデータ） (2022-11-23T18:21:09Z) - Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。
因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。
また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
論文 参考訳（メタデータ） (2022-03-29T13:07:53Z) - Meta Transition Adaptation for Robust Deep Learning with Noisy Labels [61.8970957519509]
本研究では,新しいメタ遷移学習戦略を提案する。
具体的には、クリーンなラベル付きメタデータの小さなセットのサウンドガイダンスにより、ノイズ遷移行列と分類器パラメータを相互に改善することができる。
本手法は, 従来技術よりも頑健な性能で, 遷移行列をより正確に抽出することができる。
論文 参考訳（メタデータ） (2020-06-10T07:27:25Z) - Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。
この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
論文 参考訳（メタデータ） (2020-02-16T09:12:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。