論文の概要: Improving Noise Robustness through Abstractions and its Impact on Machine Learning

• arxiv url: http://arxiv.org/abs/2406.08428v1
• Date: Wed, 12 Jun 2024 17:14:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 15:47:23.013822
• Title: Improving Noise Robustness through Abstractions and its Impact on Machine Learning
• Title（参考訳）: 抽象化によるノイズロバスト性の向上と機械学習への影響
• Authors: Alfredo Ibias, Karol Capala, Varun Ravi Varma, Anna Drozdz, Jose Sousa,
• Abstract要約: ノイズは機械学習(ML)手法の適用に大きな影響を与える学習理論の基本的な問題である。 本稿では,データ抽象化を用いてノイズを緩和する手法を提案する。 目標は、抽象化によって生成された情報の損失を通じて、モデルの性能に対するノイズの影響を減らすことである。
• 参考スコア（独自算出の注目度）: 2.6563873893593826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Noise is a fundamental problem in learning theory with huge effects in the application of Machine Learning (ML) methods, due to real world data tendency to be noisy. Additionally, introduction of malicious noise can make ML methods fail critically, as is the case with adversarial attacks. Thus, finding and developing alternatives to improve robustness to noise is a fundamental problem in ML. In this paper, we propose a method to deal with noise: mitigating its effect through the use of data abstractions. The goal is to reduce the effect of noise over the model's performance through the loss of information produced by the abstraction. However, this information loss comes with a cost: it can result in an accuracy reduction due to the missing information. First, we explored multiple methodologies to create abstractions, using the training dataset, for the specific case of numerical data and binary classification tasks. We also tested how these abstractions can affect robustness to noise with several experiments that explore the robustness of an Artificial Neural Network to noise when trained using raw data \emph{vs} when trained using abstracted data. The results clearly show that using abstractions is a viable approach for developing noise robust ML methods.
• Abstract（参考訳）: ノイズは機械学習(ML)手法の適用に多大な影響を及ぼす学習理論の根本的問題である。 さらに、悪意のあるノイズの導入は、敵攻撃の場合のように、MLメソッドを致命的に失敗させる可能性がある。 したがって、ノイズに対する堅牢性を改善する代替手段の発見と開発は、MLの基本的な問題である。 本稿では,データ抽象化を用いてノイズを緩和する手法を提案する。 目標は、抽象化によって生成された情報の損失を通じて、モデルの性能に対するノイズの影響を減らすことである。 しかし、この情報損失にはコストが伴うため、不足した情報によって精度が低下する可能性がある。 まず、数値データと二分分類タスクの特定のケースに対して、トレーニングデータセットを用いて抽象化を作成するための複数の方法論について検討した。 また、これらの抽象化がノイズに対する堅牢性にどのように影響するかを実験し、抽象データを用いてトレーニングされた時に生データ \emph{vs} を用いてトレーニングされた時に、ニューラルネットワークのノイズに対する堅牢性を調べる実験を行った。 その結果, 抽象概念を用いることは, ノイズロバストML手法の開発に有効な手法であることが明らかとなった。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding the Effect of Noise in LLM Training Data with Algorithmic Chains of Thought [0.0]
  思考の連鎖におけるノイズが,高度に制御された環境下でのタスクパフォーマンスに与える影響について検討する。 本研究では,CoTトレース処理後に適用される局所的な雑音と,トレース処理時にエラーを伝播する大域的なノイズであるテクトダイナミックノイズの2種類を定義した。 微調整されたモデルでは、高レベルの静的ノイズに対して非常に頑健であるが、低レベルの動的ノイズに対してかなり苦労している。
  論文  参考訳（メタデータ） (2024-02-06T13:59:56Z)
• Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
  トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。 我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-10-24T20:28:59Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• Deep Active Learning with Noise Stability [24.54974925491753]
  ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。 本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。 本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
  論文  参考訳（メタデータ） (2022-05-26T13:21:01Z)
• Robust Unlearnable Examples: Protecting Data Against Adversarial Learning [77.6015932710068]
  本稿では,誤り最小化ノイズを付加することにより,ディープラーニングモデルにデータを学習不能にすることを提案する。 本稿では,敵の訓練から保護される頑健な学習不可能な事例を生成するための新しい手法を設計する。 実験により, 強靭な誤り最小化ノイズによる難読性は, 種々のシナリオにおいて, 敵の訓練からデータを効果的に保護できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-28T07:13:51Z)
• Learning based signal detection for MIMO systems with unknown noise statistics [84.02122699723536]
  本論文では,未知のノイズ統計による信号を堅牢に検出する一般化最大確率(ML)推定器を考案する。 実際には、システムノイズに関する統計的な知識はほとんどなく、場合によっては非ガウス的であり、衝動的であり、分析不可能である。 我々のフレームワークは、ノイズサンプルのみを必要とする教師なしの学習アプローチによって駆動される。
  論文  参考訳（メタデータ） (2021-01-21T04:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。