論文の概要: Semi-Supervised Active Learning with Temporal Output Discrepancy

• arxiv url: http://arxiv.org/abs/2107.14153v1
• Date: Thu, 29 Jul 2021 16:25:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-30 13:24:20.642514
• Title: Semi-Supervised Active Learning with Temporal Output Discrepancy
• Title（参考訳）: 時間的出力差による半教師付きアクティブラーニング
• Authors: Siyu Huang, Tianyang Wang, Haoyi Xiong, Jun Huan, Dejing Dou
• Abstract要約: ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 42.01906895756629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep learning succeeds in a wide range of tasks, it highly depends on the massive collection of annotated data which is expensive and time-consuming. To lower the cost of data annotation, active learning has been proposed to interactively query an oracle to annotate a small proportion of informative samples in an unlabeled dataset. Inspired by the fact that the samples with higher loss are usually more informative to the model than the samples with lower loss, in this paper we present a novel deep active learning approach that queries the oracle for data annotation when the unlabeled sample is believed to incorporate high loss. The core of our approach is a measurement Temporal Output Discrepancy (TOD) that estimates the sample loss by evaluating the discrepancy of outputs given by models at different optimization steps. Our theoretical investigation shows that TOD lower-bounds the accumulated sample loss thus it can be used to select informative unlabeled samples. On basis of TOD, we further develop an effective unlabeled data sampling strategy as well as an unsupervised learning criterion that enhances model performance by incorporating the unlabeled data. Due to the simplicity of TOD, our active learning approach is efficient, flexible, and task-agnostic. Extensive experimental results demonstrate that our approach achieves superior performances than the state-of-the-art active learning methods on image classification and semantic segmentation tasks.
• Abstract（参考訳）: ディープラーニングは幅広いタスクで成功しますが、高価で時間を要する注釈付きデータの膨大なコレクションに大きく依存します。 データアノテーションのコストを下げるために、アクティブラーニングは、ラベルなしデータセット内の少数の情報サンプルに注釈を付けるために、オラクルに対話的に問い合わせることが提案されている。 本稿では,損失率の高いサンプルが,損失率の低いサンプルよりもモデルに有益であるという事実に触発されて,ラベルのないサンプルが損失率が高いと思われる場合に,oracleにデータアノテーションを求める新しいディープラーニング手法を提案する。 提案手法のコアとなるのは,異なる最適化ステップにおけるモデルによる出力の相違を評価することで,サンプル損失を推定する時間的出力不一致(TOD)である。 我々の理論的研究は,TODが蓄積したサンプルの損失を低く抑え,情報的未ラベルサンプルの選定に使用できることを示している。 さらに,TODに基づいて,ラベルなしデータを組み込むことでモデル性能を向上させる教師なし学習基準とともに,効果的なラベルなしデータサンプリング戦略を開発する。 TODの単純さのため、我々のアクティブな学習アプローチは効率的で柔軟性があり、タスクに依存しない。 その結果,画像分類や意味セグメンテーションタスクにおいて,最先端のアクティブラーニング手法よりも優れた性能が得られることがわかった。

関連論文リスト

• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Unsupervised Transfer Learning via Adversarial Contrastive Training [3.227277661633986]
  対戦型コントラスト学習(ACT)を用いた新しい教師なしトランスファー学習手法を提案する。 実験により, 細調整線形プローブとK-NNプロトコルを用いて, 各種データセットの分類精度に優れることを示した。
  論文  参考訳（メタデータ） (2024-08-16T05:11:52Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Optimal Sample Selection Through Uncertainty Estimation and Its Application in Deep Learning [22.410220040736235]
  コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。 提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
  論文  参考訳（メタデータ） (2023-09-05T14:06:33Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)
• Semi-supervised Active Learning for Instance Segmentation via Scoring Predictions [25.408505612498423]
  インスタンスセグメンテーションのための新規かつ原則的な半教師付きアクティブ学習フレームワークを提案する。 具体的には,クラス,バウンディングボックス,マスクの手がかりを明示的に評価するトリプレットスコア予測(tsp)という不確実性サンプリング戦略を提案する。 医用画像データセットを用いた結果から,提案手法が有意義な方法で利用可能なデータから知識を具現化することを示す。
  論文  参考訳（メタデータ） (2020-12-09T02:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。