論文の概要: Deep Active Learning with Noise Stability

• arxiv url: http://arxiv.org/abs/2205.13340v2
• Date: Tue, 13 Feb 2024 16:27:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 20:40:02.996753
• Title: Deep Active Learning with Noise Stability
• Title（参考訳）: 雑音安定性を考慮した深部アクティブラーニング
• Authors: Xingjian Li, Pengkun Yang, Yangcheng Gu, Xueying Zhan, Tianyang Wang, Min Xu, Chengzhong Xu
• Abstract要約: ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。 本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。 本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
• 参考スコア（独自算出の注目度）: 24.54974925491753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty estimation for unlabeled data is crucial to active learning. With a deep neural network employed as the backbone model, the data selection process is highly challenging due to the potential over-confidence of the model inference. Existing methods resort to special learning fashions (e.g. adversarial) or auxiliary models to address this challenge. This tends to result in complex and inefficient pipelines, which would render the methods impractical. In this work, we propose a novel algorithm that leverages noise stability to estimate data uncertainty. The key idea is to measure the output derivation from the original observation when the model parameters are randomly perturbed by noise. We provide theoretical analyses by leveraging the small Gaussian noise theory and demonstrate that our method favors a subset with large and diverse gradients. Our method is generally applicable in various tasks, including computer vision, natural language processing, and structural data analysis. It achieves competitive performance compared against state-of-the-art active learning baselines.
• Abstract（参考訳）: アクティブラーニングにはラベルなしデータの不確実性推定が不可欠である。 バックボーンモデルとして使用されるディープニューラルネットワークでは、モデル推論の過度な信頼のため、データ選択プロセスは非常に難しい。 既存の方法は、この課題に対処するために、特別な学習スタイル(例えば、敵対者)や補助モデルを利用する。 これにより、複雑で非効率なパイプラインが生まれ、メソッドが非現実的になる。 本研究では,ノイズの安定性を生かしてデータ不確かさを推定する新しいアルゴリズムを提案する。 鍵となるアイデアは、モデルパラメータがノイズによってランダムに摂動した場合、元の観測結果から出力を計測することである。 ガウス雑音理論を用いて理論解析を行い,本手法が大規模かつ多様な勾配を持つ部分集合を好むことを示す。 本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。 最先端のアクティブな学習ベースラインと比較して、競争力のあるパフォーマンスを達成する。

関連論文リスト

• Taylor-Sensus Network: Embracing Noise to Enlighten Uncertainty for Scientific Data [9.644709229719725]
  不確実性推定は、機械学習の科学データに不可欠である。 本稿では,複雑でヘテロシダスティックな雑音をモデル化するためのTaylor-Sensus Network (TSNet)を提案する。 TSNetは実験において主流および最先端の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-12T11:10:27Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Learning to Abstain From Uninformative Data [20.132146513548843]
  本研究では,一般的なノイズ発生過程下での学習と行動の問題について検討する。 この問題において、データ分布はラベルに高ノイズの非形式的なサンプルのかなりの割合を有する。 本稿では,選択学習理論に着想を得た損失を生かして,これらの条件下での学習に新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-25T15:55:55Z)
• Parallel and Limited Data Voice Conversion Using Stochastic Variational Deep Kernel Learning [2.5782420501870296]
  本稿では,限られたデータを扱う音声変換手法を提案する。 変分深層学習(SVDKL)に基づく。 非滑らかでより複雑な関数を推定することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:32:47Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Learning Dynamics from Noisy Measurements using Deep Learning with a Runge-Kutta Constraint [9.36739413306697]
  そこで本研究では,雑音と疎サンプルを用いた微分方程式の学習手法について論じる。 我々の方法論では、ディープニューラルネットワークと古典的な数値積分法の統合において、大きな革新が見られる。
  論文  参考訳（メタデータ） (2021-09-23T15:43:45Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。