論文の概要: TrustAL: Trustworthy Active Learning using Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2201.11661v1
• Date: Wed, 26 Jan 2022 07:13:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-01-28 14:07:40.433639
• Title: TrustAL: Trustworthy Active Learning using Knowledge Distillation
• Title（参考訳）: 信頼:知識蒸留を用いた信頼できるアクティブラーニング
• Authors: Beong-woo Kwak, Youngwook Kim, Yu Jin Kim, Seung-won Hwang, Jinyoung Yeo
• Abstract要約: アクティブラーニングは、十分なラベルが取得されるまで、データラベリング、モデルトレーニング、データ取得のイテレーションとして定義することができる。 データ取得の伝統的な見解は、反復によって人間のラベルやモデルからの知識が暗黙的に蒸留され、精度とラベルの一貫性が向上するということである。 私たちの貢献は、この神話を解き明かし、蒸留の新しい目的を提案することです。
• 参考スコア（独自算出の注目度）: 16.885874685394214
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Active learning can be defined as iterations of data labeling, model training, and data acquisition, until sufficient labels are acquired. A traditional view of data acquisition is that, through iterations, knowledge from human labels and models is implicitly distilled to monotonically increase the accuracy and label consistency. Under this assumption, the most recently trained model is a good surrogate for the current labeled data, from which data acquisition is requested based on uncertainty/diversity. Our contribution is debunking this myth and proposing a new objective for distillation. First, we found example forgetting, which indicates the loss of knowledge learned across iterations. Second, for this reason, the last model is no longer the best teacher -- For mitigating such forgotten knowledge, we select one of its predecessor models as a teacher, by our proposed notion of "consistency". We show that this novel distillation is distinctive in the following three aspects; First, consistency ensures to avoid forgetting labels. Second, consistency improves both uncertainty/diversity of labeled data. Lastly, consistency redeems defective labels produced by human annotators.
• Abstract（参考訳）: アクティブラーニングは、十分なラベルを取得するまで、データラベリング、モデルトレーニング、データ取得のイテレーションとして定義することができる。 データ取得の伝統的な考え方は、反復を通じて、人間のラベルやモデルからの知識が暗黙的に蒸留され、正確性とラベル一貫性が単調に向上するということである。 この仮定の下で、最も最近トレーニングされたモデルは、不確実性/多様性に基づいてデータ取得を要求される現在のラベル付きデータに対する優れたサロゲートである。 私たちの貢献は、この神話を解き明かし、蒸留の新しい目的を提案することです。 ひとつは,反復を通じて学習した知識の喪失を示す例です。 第二に、この理由から、最後のモデルはもはや最高の教師ではない -- このような忘れられた知識を緩和するために、提案した「一貫性」の概念により、先代のモデルの1つを教師として選択する。 この新規蒸留法は以下の3つの点で特徴的であることを示す。 第二に、一貫性はラベル付きデータの不確実性と多様性の両方を改善する。 最後に、一貫性はアノテータが生成するラベルの欠陥を償還する。

関連論文リスト

• Specifying What You Know or Not for Multi-Label Class-Incremental Learning [26.607584252708868]
  MLCIL(Multi-label class-incremental learning)の主な課題は、モデルが既知の知識と未知の知識を明確に区別できないことである。 この曖昧さは、モデルが歴史的知識を保持し、現在のクラスをマスターし、将来の学習に備える能力を妨げます。
  論文  参考訳（メタデータ） (2025-03-21T10:26:32Z)
• Weighted Distillation with Unlabeled Examples [15.825078347452024]
  ラベルなし例による蒸留は、ラベル付きデータの量を制限する設定において、ディープニューラルネットワークをトレーニングするための一般的で強力な方法である。 本稿では, 蒸留訓練のパラダイムに合わせて, 学生の損失関数の再重み付けに基づいて, この問題に対処するための原則的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-13T04:08:56Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Going Beyond One-Hot Encoding in Classification: Can Human Uncertainty Improve Model Performance? [14.610038284393166]
  ラベルの不確実性は、分散ラベルを介してトレーニングプロセスに明示的に組み込まれていることを示す。 ラベルの不確実性の取り込みは、モデルが見つからないデータをより一般化し、モデルの性能を向上させるのに役立ちます。 既存のキャリブレーション法と同様に、分布ラベルはより良いキャリブレーションの確率をもたらし、それによってより確実で信頼できる予測が得られる。
  論文  参考訳（メタデータ） (2022-05-30T17:19:11Z)
• Unified and Effective Ensemble Knowledge Distillation [92.67156911466397]
  知識蒸留は、複数の教師モデルから知識を抽出し、それを1人の学生モデルにエンコードする。 既存の多くの手法は、ラベル付きデータのみに基づいて学生モデルを学習し、蒸留する。 本研究では,教師モデルのアンサンブルから,ラベル付きデータとラベルなしデータの両方から単一学生モデルを蒸留する,統一的で効果的なアンサンブル知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T16:15:39Z)
• Learning with Proper Partial Labels [87.65718705642819]
  部分ラベル学習は、不正確なラベルを持つ弱い教師付き学習の一種である。 この適切な部分ラベル学習フレームワークには,従来の部分ラベル学習設定が数多く含まれていることを示す。 次に、分類リスクの統一的非バイアス推定器を導出する。
  論文  参考訳（メタデータ） (2021-12-23T01:37:03Z)
• Revisiting Knowledge Distillation for Object Detection [2.4747542937476448]
  既存のオブジェクト検出蒸留のソリューションは、教師モデルと接地木ラベルの両方の可用性に依存している。 このフレームワークでは、まず教師が生成した擬似ラベルを用いて学習し、もし利用可能であればラベル付きデータを用いて微調整を行う。
  論文  参考訳（メタデータ） (2021-05-22T03:46:58Z)
• Self-Supervised Learning from Semantically Imprecise Data [7.24935792316121]
  動物」や「鳥」などの不正確なラベルから学ぶことは、熟練したラベル付きトレーニングデータが乏しい場合に重要な機能です。 CHILLAXはこの課題に取り組むために最近提案された方法です。 制約外挿を用いた自己教師型スキームでCHILLAXを拡張して擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-04-22T07:26:14Z)
• A Theoretical Analysis of Learning with Noisily Labeled Data [62.946840431501855]
  最初に、最初のエポックトレーニングで、クリーンラベルの例が先に学習されることを示しました。 次に、クリーンデータステージから学習した後、継続的なトレーニングモデルがテストエラーのさらなる改善を達成できることを示します。
  論文  参考訳（メタデータ） (2021-04-08T23:40:02Z)
• Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study [59.95267695402516]
  本研究では,ラベルスムージングがナレッジ蒸留と相容れないことを実証的に明らかにする。 ラベルスムージングが意味的に類似したクラスと異なるクラスの分布にどのように影響するかに関する新しい接続を提供します。 我々は,その一面性と不完全性について,大規模解析,可視化,包括的な実験を通じて検討する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:12Z)
• Why distillation helps: a statistical perspective [69.90148901064747]
  知識蒸留は、単純な「学生」モデルの性能を向上させる技術である。 この単純なアプローチは広く有効であることが証明されているが、基本的な問題は未解決のままである。 蒸留が既存の負の鉱業技術をどのように補完し, 極端に多層的検索を行うかを示す。
  論文  参考訳（メタデータ） (2020-05-21T01:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。