論文の概要: Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples

• arxiv url: http://arxiv.org/abs/2406.03944v1
• Date: Thu, 6 Jun 2024 10:38:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 15:19:49.562207
• Title: Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples
• Title（参考訳）: パープレクシングサンプルの優先順位付けによる確率的能動学習
• Authors: Dake Bu, Wei Huang, Taiji Suzuki, Ji Cheng, Qingfu Zhang, Zhiqiang Xu, Hau-San Wong,
• Abstract要約: ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。 我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
• 参考スコア（独自算出の注目度）: 53.95282502030541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Network-based active learning (NAL) is a cost-effective data selection technique that utilizes neural networks to select and train on a small subset of samples. While existing work successfully develops various effective or theory-justified NAL algorithms, the understanding of the two commonly used query criteria of NAL: uncertainty-based and diversity-based, remains in its infancy. In this work, we try to move one step forward by offering a unified explanation for the success of both query criteria-based NAL from a feature learning view. Specifically, we consider a feature-noise data model comprising easy-to-learn or hard-to-learn features disrupted by noise, and conduct analysis over 2-layer NN-based NALs in the pool-based scenario. We provably show that both uncertainty-based and diversity-based NAL are inherently amenable to one and the same principle, i.e., striving to prioritize samples that contain yet-to-be-learned features. We further prove that this shared principle is the key to their success-achieve small test error within a small labeled set. Contrastingly, the strategy-free passive learning exhibits a large test error due to the inadequate learning of yet-to-be-learned features, necessitating resort to a significantly larger label complexity for a sufficient test error reduction. Experimental results validate our findings.
• Abstract（参考訳）: ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。 既存の研究は、様々な効率性や理論に最適化されたNALアルゴリズムの開発に成功しているが、NALの2つの一般的なクエリ基準(不確実性ベースと多様性ベース)の理解は、まだ初期段階にある。 本研究では,機能学習の観点から,問合せ基準に基づくNALの成功に関する統一的な説明を提供することにより,一歩前進させようとする。 具体的には、ノイズによって破壊される難聴・難聴の特徴を含む特徴雑音データモデルと、プールベースシナリオにおける2層NNベースNALの動作解析について考察する。 我々は、不確実性に基づくNALと多様性に基づくNALの両方が、本質的に同一の原則、すなわち、未学習の特徴を含むサンプルの優先順位付けを試みていることを確実に示している。 さらに、この共有原則が、小さなラベル付き集合内での小さなテストエラーを成功させる鍵であることを証明します。 対照的に、戦略のない受動的学習は、未学習の特徴の不十分な学習のために大きなテストエラーを示し、十分なテストエラーを減らすためには、ラベルの複雑さをはるかに大きくする必要がある。 実験の結果, 結果が得られた。

関連論文リスト

• Provable Advantage of Curriculum Learning on Parity Targets with Mixed Inputs [21.528321119061694]
  共通サンプル分布における標準(有界)学習率のトレーニングステップ数の分離結果を示す。 また,理論結果の具体的構造を超えた定性的分離を支持する実験結果も提供する。
  論文  参考訳（メタデータ） (2023-06-29T13:14:42Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Using Sum-Product Networks to Assess Uncertainty in Deep Active Learning [3.7507283158673212]
  本稿では,畳み込みニューラルネットワーク(CNN)を用いた深層能動学習における不確かさの計算方法を提案する。 CNN が抽出した特徴表現を Sum-Product Network (SPN) のトレーニングデータとして利用する。
  論文  参考訳（メタデータ） (2022-06-20T14:28:19Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Efficacy of Bayesian Neural Networks in Active Learning [11.609770399591516]
  ベイズニューラルネットワークは、アンサンブルに基づく不確実性を捕捉する技術よりも効率的であることを示す。 また,近年,モンテカルロのドロップアウトよりも効果的であることが判明したアンサンブル技法の重要な欠点も明らかにした。
  論文  参考訳（メタデータ） (2021-04-02T06:02:11Z)
• Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference [59.62779187457773]
  自然言語推論のための生成型分類器(NLI)を提案する。 差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。 実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
  論文  参考訳（メタデータ） (2020-10-08T04:44:00Z)
• On the Robustness of Active Learning [0.7340017786387767]
  Active Learningは、機械学習アルゴリズムをトレーニングする上で最も有用なサンプルを特定する方法に関するものだ。 十分な注意とドメイン知識を持っていないことがよくあります。 そこで本研究では,Simpson の多様性指標に基づく新たな "Sum of Squared Logits" 手法を提案する。
  論文  参考訳（メタデータ） (2020-06-18T09:07:23Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。