論文の概要: Incremental Sequence Labeling: A Tale of Two Shifts

• arxiv url: http://arxiv.org/abs/2402.10447v1
• Date: Fri, 16 Feb 2024 04:41:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 17:31:11.609729
• Title: Incremental Sequence Labeling: A Tale of Two Shifts
• Title（参考訳）: インクリメンタルなシーケンスラベリング:2つのシフトの物語
• Authors: Shengjie Qiu, Junhao Zheng, Zhen Liu, Yicheng Luo, Qianli Ma
• Abstract要約: インクリメンタルシーケンスラベリングタスクは、以前のクラスに関する知識を維持しながら、時間とともに新しいクラスを継続的に学習する。 調査では、E2O(モデルが古いエンティティを非エンティティと誤ってラベル付けする)とO2E(モデルが非エンティティまたは古いエンティティを新しいエンティティとラベル付けする)という2つの重要なセマンティックシフトを特定した。
• 参考スコア（独自算出の注目度）: 24.473543105014688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The incremental sequence labeling task involves continuously learning new classes over time while retaining knowledge of the previous ones. Our investigation identifies two significant semantic shifts: E2O (where the model mislabels an old entity as a non-entity) and O2E (where the model labels a non-entity or old entity as a new entity). Previous research has predominantly focused on addressing the E2O problem, neglecting the O2E issue. This negligence results in a model bias towards classifying new data samples as belonging to the new class during the learning process. To address these challenges, we propose a novel framework, Incremental Sequential Labeling without Semantic Shifts (IS3). Motivated by the identified semantic shifts (E2O and O2E), IS3 aims to mitigate catastrophic forgetting in models. As for the E2O problem, we use knowledge distillation to maintain the model's discriminative ability for old entities. Simultaneously, to tackle the O2E problem, we alleviate the model's bias towards new entities through debiased loss and optimization levels. Our experimental evaluation, conducted on three datasets with various incremental settings, demonstrates the superior performance of IS3 compared to the previous state-of-the-art method by a significant margin.
• Abstract（参考訳）: インクリメンタルシーケンスラベリングタスクは、新しいクラスを継続的に学習し、前のクラスに関する知識を保持します。 e2o(モデルが古いエンティティを非エンティティと誤記する)とo2e(モデルが新しいエンティティとして非エンティティまたは古いエンティティをラベル付けする)です。 これまでの研究は主に、O2E問題を無視してE2O問題に対処することに焦点を当ててきた。 この無視は、学習プロセス中に新しいクラスに属する新しいデータサンプルを分類するモデルバイアスをもたらす。 これらの課題に対処するために,意味的シフトを伴わないインクリメンタルシークエンシャルラベリング(IS3)を提案する。 同定されたセマンティックシフト(E2OとO2E)によって動機付けられたIS3は、モデルにおける破滅的な忘れを緩和することを目的としている。 E2O問題に関しては、古い実体に対するモデルの識別能力を維持するために知識蒸留を用いる。 同時に、O2E問題に対処するために、縮退損失と最適化レベルを通じて、モデルが新しいエンティティに対するバイアスを軽減する。 様々なインクリメンタルな設定を持つ3つのデータセットを用いた実験により,is3の性能は,従来の最先端手法に比べて有意な差を示した。

関連論文リスト

• AIO2: Online Correction of Object Labels for Deep Learning with Incomplete Annotation in Remote Sensing Image Segmentation [19.223382453905764]
  OpenStreetMapのようなクラウドソーシングプロジェクトは、アノテーションの負荷をコミュニティに分散させる。 不完全なラベルセットによって誘導されるアノテーションノイズに対処するため、適応的trIggered Online Object-wise correct (AIO2)を提案する。 AIO2はアダプティブ・コレクション・トリガー (ACT) モジュールを備えており、モデルトレーニングの過小評価や過小評価の際のラベル修正を回避し、オンライン・オブジェクト・ワイド・コレクション (O2C) 方法論は自動ラベル修正に空間情報を利用する。
  論文  参考訳（メタデータ） (2024-03-03T23:35:49Z)
• Learning with Noisy Labels: Interconnection of Two Expectation-Maximizations [41.65589788264123]
  労働集約型ラベリングは、ディープラーニングに基づくコンピュータビジョンアルゴリズムの開発においてボトルネックとなる。 雑音データ中の構造的多様体を見つけるタスクとして形式化された雑音ラベル(LNL)問題による学習に対処する。 本アルゴリズムは,複数の標準ベンチマークにおいて,様々な種類のラベルノイズの下でかなりのマージンを有する最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-01-09T07:22:30Z)
• DualTeacher: Bridging Coexistence of Unlabelled Classes for Semi-supervised Incremental Object Detection [53.8061502411777]
  現実世界のアプリケーションでは、オブジェクト検出器は、しばしば新しいクラスのオブジェクトインスタンスに遭遇し、それらを効果的に適合させる必要がある。 以前の作業では、この重要な問題をインクリメンタルオブジェクト検出(IOD)として定式化しており、新しいクラスのオブジェクトインスタンスがインクリメンタルデータで完全に注釈付けされていると仮定している。 我々は、より現実的な半教師付きIOD (SSIOD) について考察する。オブジェクト検出器は、ラベル付きデータと大量の非ラベル付きデータから、段階的に新しいクラスを学習する必要がある。
  論文  参考訳（メタデータ） (2023-12-13T10:46:14Z)
• Continual Named Entity Recognition without Catastrophic Forgetting [37.316700599440935]
  我々は,古いエンティティタイプの知識の保持と新しいもの獲得のトレードオフを巧みに回避する,プールド・フィーチャー蒸留損失を導入する。 非エンタリティ型のための信頼に基づく疑似ラベルを作成する。 バイアス型分布の問題に対処するために,適応的再重み付け型バランス学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:45:30Z)
• Task Relation Distillation and Prototypical Pseudo Label for Incremental Named Entity Recognition [23.69922938823477]
  InERのためのタスク関係蒸留法とプロトタイプ擬似ラベル(RDP)を提案する。 本手法は従来の最先端手法に比べて,マイクロF1のスコアが6.08%,マクロF1のスコアが7.71%増加し,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-08-17T05:36:56Z)
• Augment and Criticize: Exploring Informative Samples for Semi-Supervised Monocular 3D Object Detection [64.65563422852568]
  我々は、一般的な半教師付きフレームワークを用いて、難解な単分子3次元物体検出問題を改善する。 我々は、ラベルのないデータから豊富な情報的サンプルを探索する、新しい、シンプルで効果的なAugment and Criticize'フレームワークを紹介します。 3DSeMo_DLEと3DSeMo_FLEXと呼ばれる2つの新しい検出器は、KITTIのAP_3D/BEV(Easy)を3.5%以上改善した。
  論文  参考訳（メタデータ） (2023-03-20T16:28:15Z)
• L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
  本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。 モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。 これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
  論文  参考訳（メタデータ） (2022-02-09T05:57:08Z)
• Static-Dynamic Co-Teaching for Class-Incremental 3D Object Detection [71.18882803642526]
  ディープラーニングアプローチは、3Dオブジェクト検出タスクにおいて顕著なパフォーマンスを示している。 古いデータを再考することなく、新しいクラスを漸進的に学習するときに、破滅的なパフォーマンス低下に悩まされる。 この「破滅的な忘れ物」現象は、現実世界のシナリオにおける3Dオブジェクト検出アプローチの展開を妨げる。 SDCoTは,新しい静的なコティーチング手法である。
  論文  参考訳（メタデータ） (2021-12-14T09:03:41Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• From Synthetic to Real: Unsupervised Domain Adaptation for Animal Pose Estimation [67.39635503744395]
  動物のポーズ推定は近年注目を集めている重要な分野である。 既存の作品は、合成データのような他のアクセスしやすいドメインのデータから生成される擬似ラベルでこの問題を回避する。 合成データと実データ間の領域ギャップを低減するために,マルチスケールドメイン適応モジュール (MDAM) を設計する。 具体的には、内部粗更新ループにおける自己蒸留モジュールと外部微更新ループにおける平均教師を提案し、古いものを徐々に置き換える新しい擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-03-27T08:39:43Z)
• Two-Level Residual Distillation based Triple Network for Incremental Object Detection [21.725878050355824]
  本稿では,より高速なR-CNNに基づく新しいインクリメンタルオブジェクト検出手法を提案する。 従来の学習知識を忘れることなく、新しいクラスでの漸進的なモデル学習を支援するためのアシスタントとして、古いモデルと残留モデルを使用する三重ネットワークである。
  論文  参考訳（メタデータ） (2020-07-27T11:04:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。