論文の概要: Forgetful Active Learning with Switch Events: Efficient Sampling for Out-of-Distribution Data

• arxiv url: http://arxiv.org/abs/2301.05106v1
• Date: Thu, 12 Jan 2023 16:03:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 14:02:31.051866
• Title: Forgetful Active Learning with Switch Events: Efficient Sampling for Out-of-Distribution Data
• Title（参考訳）: スイッチイベントによる有能なアクティブラーニング:分散データの効率的なサンプリング
• Authors: Ryan Benkert, Mohit Prabhushankar, and Ghassan AlRegib
• Abstract要約: 実際には、完全に訓練されたニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)入力とランダムに相互作用する。 本稿では,スイッチイベント(FALSE)による忘れがちなアクティブラーニングについて紹介する。 270以上の実験で最大4.5%の精度向上が報告された。
• 参考スコア（独自算出の注目度）: 13.800680101300756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper considers deep out-of-distribution active learning. In practice, fully trained neural networks interact randomly with out-of-distribution (OOD) inputs and map aberrant samples randomly within the model representation space. Since data representations are direct manifestations of the training distribution, the data selection process plays a crucial role in outlier robustness. For paradigms such as active learning, this is especially challenging since protocols must not only improve performance on the training distribution most effectively but further render a robust representation space. However, existing strategies directly base the data selection on the data representation of the unlabeled data which is random for OOD samples by definition. For this purpose, we introduce forgetful active learning with switch events (FALSE) - a novel active learning protocol for out-of-distribution active learning. Instead of defining sample importance on the data representation directly, we formulate "informativeness" with learning difficulty during training. Specifically, we approximate how often the network "forgets" unlabeled samples and query the most "forgotten" samples for annotation. We report up to 4.5\% accuracy improvements in over 270 experiments, including four commonly used protocols, two OOD benchmarks, one in-distribution benchmark, and three different architectures.
• Abstract（参考訳）: 本稿では,分散型アクティブラーニングについて考察する。 実際には、完全に訓練されたニューラルネットワークは、out-of-distribution (ood)入力とランダムに相互作用し、モデル表現空間内で異常なサンプルをランダムにマップする。 データ表現はトレーニング分布の直接的な表現であるため、データ選択プロセスは外れた堅牢性において重要な役割を果たす。 アクティブラーニングのようなパラダイムでは、プロトコルはトレーニングディストリビューションのパフォーマンスを最も効果的に向上するだけでなく、堅牢な表現空間をレンダリングする必要があるため、特に難しい。 しかしながら、既存の戦略は、oodサンプルでランダムなラベルなしデータのデータ表現に基づいて、データ選択を直接基礎としている。 そこで本研究では,スイッチイベント(false)を用いた,分散型アクティブラーニングのための新しいアクティブラーニングプロトコルであるleetful active learningを導入する。 データ表現におけるサンプルの重要性を直接定義する代わりに、トレーニング中の学習の困難さを"情報的"に定式化する。 具体的には、ネットワークの"forgets"がラベルなしのサンプルの頻度を近似し、最も"forgotten"なサンプルをアノテーションに問い合わせる。 270以上の実験では4つのプロトコル、2つのOODベンチマーク、1つの分散ベンチマーク、3つの異なるアーキテクチャを含む4.5 %の精度改善が報告されている。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Deep Active Learning with Contrastive Learning Under Realistic Data Pool Assumptions [2.578242050187029]
  アクティブラーニングは、モデルが望まれる精度を迅速に到達できるようにする、ラベルのないデータプールから最も情報性の高いデータを特定することを目的としている。 既存のアクティブラーニング手法の多くは、未ラベルのデータプールに対象タスクに関連するサンプルのみが存在する理想的な環境で評価されている。 我々は,不明瞭でタスク非関連なアウト・オブ・ディストリビューションと,イン・ディストリビューション・サンプルを含む,新しいアクティブ・ラーニング・ベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-03-25T10:46:10Z)
• Gaussian Switch Sampling: A Second Order Approach to Active Learning [11.775252660867285]
  能動的学習において、取得関数は、モデル多様体内の表現位置に直接情報性を定義する。 本稿では,アクティブラーニングの文脈における情報内容とサンプルの重要性の2次定義を提案する。 我々は,モデル表現が訓練データの欠如によって制約されている場合でも,その定義が極めて正確な重要度スコアを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-16T15:24:56Z)
• Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
  ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。 現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。 本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-21T08:16:31Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Message Passing Adaptive Resonance Theory for Online Active Semi-supervised Learning [30.19936050747407]
  オンラインのアクティブ半教師あり学習のためのメッセージパッシング適応共振理論(MPART)を提案する。 MPARTはラベルのないデータのクラスを推論し、トポロジグラフ上のノード間のメッセージパッシングを通じて情報的および代表的サンプルを選択する。 我々は,MPARTがオンラインのアクティブ学習環境において,競合モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-02T14:14:42Z)
• SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
  我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。 まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。 次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-11-20T08:26:10Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
  我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。 提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。