論文の概要: ProKD: An Unsupervised Prototypical Knowledge Distillation Network for Zero-Resource Cross-Lingual Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2301.08855v1
• Date: Sat, 21 Jan 2023 02:20:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 16:08:37.955740
• Title: ProKD: An Unsupervised Prototypical Knowledge Distillation Network for Zero-Resource Cross-Lingual Named Entity Recognition
• Title（参考訳）: ProKD:Zero-Resource Cross-Lingual Named Entity Recognitionのための教師なしプロトタイプ知識蒸留ネットワーク
• Authors: Ling Ge and Chuming Hu and Guanghui Ma and Hong Zhang and Jihong Liu
• Abstract要約: 本稿では,これらの問題に対処するために,教師なし型知識蒸留ネットワーク(ProKD)を提案する。 ProKDは、ソース言語とターゲット言語のプロトタイプ間の距離を調整することで、クラス機能のアライメントを実現することを目的としている。 さらに,ProKDは,学生ネットワークを対象データに再学習することで,言語固有の内在的構造を学習するための自己学習手法を導入する。
• 参考スコア（独自算出の注目度）: 2.8017808603510836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For named entity recognition (NER) in zero-resource languages, utilizing knowledge distillation methods to transfer language-independent knowledge from the rich-resource source languages to zero-resource languages is an effective means. Typically, these approaches adopt a teacher-student architecture, where the teacher network is trained in the source language, and the student network seeks to learn knowledge from the teacher network and is expected to perform well in the target language. Despite the impressive performance achieved by these methods, we argue that they have two limitations. Firstly, the teacher network fails to effectively learn language-independent knowledge shared across languages due to the differences in the feature distribution between the source and target languages. Secondly, the student network acquires all of its knowledge from the teacher network and ignores the learning of target language-specific knowledge. Undesirably, these limitations would hinder the model's performance in the target language. This paper proposes an unsupervised prototype knowledge distillation network (ProKD) to address these issues. Specifically, ProKD presents a contrastive learning-based prototype alignment method to achieve class feature alignment by adjusting the distance among prototypes in the source and target languages, boosting the teacher network's capacity to acquire language-independent knowledge. In addition, ProKD introduces a prototypical self-training method to learn the intrinsic structure of the language by retraining the student network on the target data using samples' distance information from prototypes, thereby enhancing the student network's ability to acquire language-specific knowledge. Extensive experiments on three benchmark cross-lingual NER datasets demonstrate the effectiveness of our approach.
• Abstract（参考訳）: ゼロリソース言語における名前付きエンティティ認識(NER)では、知識蒸留法を利用して、リッチリソース言語からゼロリソース言語への言語に依存しない知識の伝達が効果的である。 通常、これらの手法は教師ネットワークを教材言語で訓練する教師学生アーキテクチャを採用しており、学生ネットワークは教師ネットワークから知識を学習し、対象言語でうまく機能することが期待されている。 これらの手法によって達成された印象的な性能にもかかわらず、2つの制限があると主張する。 まず、教師ネットワークは、ソースとターゲット言語の特徴分布の違いにより、言語間で共有される言語非依存の知識を効果的に学習できない。 第二に、学生ネットワークは教師ネットワークからすべての知識を取得し、対象言語固有の知識の学習を無視する。 必然的に、これらの制限はターゲット言語におけるモデルの性能を妨げます。 本稿では,これらの問題に対処するために,教師なし型知識蒸留ネットワーク(ProKD)を提案する。 具体的には,教師ネットワークの言語に依存しない知識獲得能力を高めるために,原語と対象言語のプロトタイプ間の距離を調整することで,クラス特徴アライメントを実現するための,対照的な学習ベースのプロトタイプアライメント手法を提案する。 さらに, ProKDでは, プロトタイプからの距離情報を用いて, 学生ネットワークを対象データに再学習することで, 言語固有の知識を習得する能力を高めることによって, 言語固有の構造を学習するための, 原型的な自己学習手法を導入する。 3つのベンチマーク言語間NERデータセットの大規模な実験により、我々のアプローチの有効性が示された。

関連論文リスト

• DA-Net: A Disentangled and Adaptive Network for Multi-Source Cross-Lingual Transfer Learning [11.78085199896157]
  マルチソースの言語間変換学習は、複数のラベル付けされたソース言語から、言語シフトの下でラベル付けされていないターゲット言語へのタスク知識の転送を扱う。 本稿では,これらの課題に対処する分散適応ネットワーク(DA-Net)を提案する。
  論文  参考訳（メタデータ） (2024-03-07T02:30:46Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• Efficient Spoken Language Recognition via Multilabel Classification [53.662747523872305]
  我々のモデルは,現在の最先端手法よりも桁違いに小さく,高速でありながら,競争力のある結果が得られることを示す。 我々のマルチラベル戦略は、マルチクラス分類よりも非ターゲット言語の方が堅牢である。
  論文  参考訳（メタデータ） (2023-06-02T23:04:19Z)
• Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models [70.82705830137708]
  言語条件制御のためのデータ駆動型インストラクション拡張(DIAL)について紹介する。 我々は,CLIPのセマンティック理解を利用したセミ言語ラベルを用いて,未知の実演データの大規模なデータセットに知識を伝達する。 DIALは、模倣学習ポリシーによって、新しい能力を獲得し、元のデータセットにない60の新しい命令を一般化することができる。
  論文  参考訳（メタデータ） (2022-11-21T18:56:00Z)
• Adaptive Activation Network For Low Resource Multilingual Speech Recognition [30.460501537763736]
  ASRモデルの上位層に適応的アクティベーションネットワークを導入する。 また,(1)クロス言語学習,(2)アクティベーション関数をソース言語からターゲット言語に置き換える,(2)多言語学習という2つの手法を提案する。 IARPA Babelデータセットに関する実験により、我々のアプローチは、オフスクラッチトレーニングや従来のボトルネック機能に基づく手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-05-28T04:02:59Z)
• Knowledge Based Multilingual Language Model [44.70205282863062]
  知識に基づく多言語言語モデル(KMLM)を事前学習するための新しいフレームワークを提案する。 我々は、ウィキデータ知識グラフを用いて、大量のコード切替合成文と推論に基づく多言語学習データを生成する。 生成したデータの文内構造と文間構造に基づいて,知識学習を容易にするための事前学習タスクを設計する。
  論文  参考訳（メタデータ） (2021-11-22T02:56:04Z)
• Prix-LM: Pretraining for Multilingual Knowledge Base Construction [59.02868906044296]
  複数言語による知識構築と完成のための統合フレームワークである Prix-LM を提案する。 既存の多言語KBから抽出したモノリンガルトリプルとクロスリンガルリンクの2種類の知識を利用する。 複数の言語におけるリンク予測、言語間リンク、バイリンガル語彙誘導など、標準的なエンティティ関連タスクの実験は、その効果を実証している。
  論文  参考訳（メタデータ） (2021-10-16T02:08:46Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition [54.92161571089808]
  言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。 既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。 半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2021-06-01T05:46:22Z)
• Single-/Multi-Source Cross-Lingual NER via Teacher-Student Learning on Unlabeled Data in Target Language [28.8970132244542]
  言語間NERは、リッチなラベル付きデータを持つソース言語から学んだ知識を活用する必要がある。 このような制約に対処する教師支援学習手法を提案する。 提案手法は,シングルソースとマルチソースのクロスランガルNERにおいて,既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-04-26T17:22:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。