論文の概要: From Consensus to Disagreement: Multi-Teacher Distillation for
Semi-Supervised Relation Extraction
- arxiv url: http://arxiv.org/abs/2112.01048v1
- Date: Thu, 2 Dec 2021 08:20:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 14:59:37.784679
- Title: From Consensus to Disagreement: Multi-Teacher Distillation for
Semi-Supervised Relation Extraction
- Title（参考訳）: コンセンサスから診断へ:半教師関係抽出のためのマルチティーラー蒸留
- Authors: Wanli Li and Tieyun Qian
- Abstract要約: 半教師付き関係抽出(SSRE)は、未ラベルのサンプルを追加のトレーニングデータとしてアノテートすることで、この問題に対して有望な方法であることが証明されている。
しかし、ラベルのないデータに関する豊富な情報を含む差分集合は、以前から無視されてきた。
我々は,既存のSSRE手法に容易に組み込むことができる,シンプルで汎用的な多教師蒸留フレームワークを開発した。
- 参考スコア（独自算出の注目度）: 10.513626483108126
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lack of labeled data is a main obstacle in relation extraction.
Semi-supervised relation extraction (SSRE) has been proven to be a promising
way for this problem through annotating unlabeled samples as additional
training data. Almost all prior researches along this line adopt multiple
models to make the annotations more reliable by taking the intersection set of
predicted results from these models. However, the difference set, which
contains rich information about unlabeled data, has been long neglected by
prior studies.
In this paper, we propose to learn not only from the consensus but also the
disagreement among different models in SSRE. To this end, we develop a simple
and general multi-teacher distillation (MTD) framework, which can be easily
integrated into any existing SSRE methods. Specifically, we first let the
teachers correspond to the multiple models and select the samples in the
intersection set of the last iteration in SSRE methods to augment labeled data
as usual. We then transfer the class distributions for samples in the
difference set as soft labels to guide the student. We finally perform
prediction using the trained student model. Experimental results on two public
datasets demonstrate that our framework significantly promotes the performance
of the base SSRE methods with pretty low computational cost.
- Abstract（参考訳）: ラベル付きデータの欠如は関係抽出の主な障害である。
半教師付き関係抽出(SSRE)は、未ラベルサンプルを追加のトレーニングデータとしてアノテートすることで、この問題に対して有望な方法であることが証明されている。
このラインにおけるほぼ全ての以前の研究は、これらのモデルから予測された結果の交点セットを取ることによって、アノテーションをより信頼性を高めるために複数のモデルを採用する。
しかし、ラベルのないデータに関する豊富な情報を含む差分集合は、以前から無視されてきた。
本稿では,SSREにおけるコンセンサスだけでなく,モデル間の相違点からも学習することを提案する。
そこで我々は,既存のSSRE手法に容易に組み込むことのできる,シンプルで汎用的なマルチティーチンガー蒸留(MTD)フレームワークを開発した。
具体的には,教師が複数のモデルに対応するようにし,ラベル付きデータを通常通り増やすためのssre法において,最後のイテレーションの交点集合のサンプルを選択する。
次に,サンプルのクラス分布をソフトラベルとして転送し,学生の指導を行う。
最終的に,訓練学生モデルを用いて予測を行う。
2つの公開データセットに対する実験結果から,我々のフレームワークは,計算コストの低い基本SSRE法の性能を著しく向上させることが示された。
関連論文リスト
- Data curation via joint example selection further accelerates multimodal learning [3.329535792151987]
サンプルを個別に選択するよりも,データのバッチを共同で選択することが学習に有効であることを示す。
このようなバッチを選択するための単純かつトラクタブルなアルゴリズムを導出し、個別に優先順位付けされたデータポイントを超えてトレーニングを著しく加速する。
論文 参考訳（メタデータ） (2024-06-25T16:52:37Z) - Exploring the Boundaries of Semi-Supervised Facial Expression Recognition using In-Distribution, Out-of-Distribution, and Unconstrained Data [23.4909421082857]
表情認識(FER)における最新の半教師あり手法11について検討する。
本研究は,非流通,アウト・オブ・ディストリビューション,制約のない,非常に小さなデータからの半教師付き学習を対象とする。
ラベル付きサンプルの数が等しいため、半教師付き学習は教師付き学習よりも大幅に改善される。
論文 参考訳（メタデータ） (2023-06-02T01:40:08Z) - Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot
Text Classification Tasks [75.42002070547267]
テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。
モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T23:43:23Z) - Split-PU: Hardness-aware Training Strategy for Positive-Unlabeled
Learning [42.26185670834855]
Positive-Unlabeled (PU) 学習は、稀な正のサンプルと豊富な未ラベルサンプルを持つモデルを学ぶことを目的としている。
本稿では、新しいトレーニングパイプラインを用いて、一般的に使われているnnPUの改善に焦点を当てる。
論文 参考訳（メタデータ） (2022-11-30T05:48:31Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%～6%向上させる。
論文 参考訳（メタデータ） (2022-11-29T14:52:38Z) - Label-Noise Learning with Intrinsically Long-Tailed Data [65.41318436799993]
本稿では,本質的な長期データを用いたラベルノイズ学習のための学習フレームワークを提案する。
具体的には, 2段階の2次元試料選択法(TABASCO)を提案する。
論文 参考訳（メタデータ） (2022-08-21T07:47:05Z) - Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated
Label Mixing [104.630875328668]
ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。
両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
論文 参考訳（メタデータ） (2021-12-16T11:27:48Z) - Few-shot Learning via Dependency Maximization and Instance Discriminant
Analysis [21.8311401851523]
そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。
本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
論文 参考訳（メタデータ） (2021-09-07T02:19:01Z) - Training image classifiers using Semi-Weak Label Data [26.04162590798731]
多重インスタンス学習(MIL)では、弱ラベルがバッグレベルで提供され、存在/存在情報のみが知られる。
本稿では,この問題を軽減するため,新たな半弱ラベル学習パラダイムを提案する。
半弱ラベルから学習する問題に対処する2段階のフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-19T03:06:07Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-21T13:27:09Z) - ATSO: Asynchronous Teacher-Student Optimization for Semi-Supervised
Medical Image Segmentation [99.90263375737362]
教師-学生最適化の非同期版であるATSOを提案する。
ATSOはラベルのないデータを2つのサブセットに分割し、モデルの微調整に1つのサブセットを交互に使用し、他のサブセットのラベルを更新する。
医用画像のセグメンテーションデータセットを2つ評価し,様々な半教師付き環境において優れた性能を示す。
論文 参考訳（メタデータ） (2020-06-24T04:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。