論文の概要: MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition
using Deep Bidirectional Transformers
- arxiv url: http://arxiv.org/abs/2001.08904v1
- Date: Fri, 24 Jan 2020 07:16:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-07 04:40:02.807859
- Title: MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition
using Deep Bidirectional Transformers
- Title(参考訳): MT-BioNER:ディープ双方向変換器を用いた生体名認識のためのマルチタスク学習
- Authors: Muhammad Raza Khan, Morteza Ziyadi and Mohamed AbdelHady
- Abstract要約: 異なるスロットタイプをカバーする複数のデータセットを用いたスロットタグの訓練をマルチタスク学習問題として検討する。
生物医学領域における実験結果から,提案手法は従来のスロットタグシステムよりも優れていることが示された。
- 参考スコア(独自算出の注目度): 1.7403133838762446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conversational agents such as Cortana, Alexa and Siri are continuously
working on increasing their capabilities by adding new domains. The support of
a new domain includes the design and development of a number of NLU components
for domain classification, intents classification and slots tagging (including
named entity recognition). Each component only performs well when trained on a
large amount of labeled data. Second, these components are deployed on
limited-memory devices which requires some model compression. Third, for some
domains such as the health domain, it is hard to find a single training data
set that covers all the required slot types. To overcome these mentioned
problems, we present a multi-task transformer-based neural architecture for
slot tagging. We consider the training of a slot tagger using multiple data
sets covering different slot types as a multi-task learning problem. The
experimental results on the biomedical domain have shown that the proposed
approach outperforms the previous state-of-the-art systems for slot tagging on
the different benchmark biomedical datasets in terms of (time and memory)
efficiency and effectiveness. The output slot tagger can be used by the
conversational agent to better identify entities in the input utterances.
- Abstract(参考訳): Cortana、Alexa、Siriといった会話エージェントは、新たなドメインを追加することで、継続的に機能拡張に取り組んでいる。
新しいドメインのサポートには、ドメイン分類、インテント分類、スロットタグ付け(名前付きエンティティ認識を含む)のための多くのNLUコンポーネントの設計と開発が含まれる。
各コンポーネントは、大量のラベル付きデータでトレーニングした場合のみ、うまく機能する。
第二に、これらのコンポーネントはある程度のモデル圧縮を必要とするリミテッドメモリデバイスにデプロイされる。
第三に、ヘルスドメインのようないくつかのドメインでは、必要なスロットタイプをすべてカバーする単一のトレーニングデータセットを見つけるのは難しい。
上記の問題を克服するために,スロットタグ付けのためのマルチタスクトランスフォーマーベースのニューラルアーキテクチャを提案する。
異なるスロットタイプをカバーする複数のデータセットを用いたスロットタグの訓練をマルチタスク学習問題として検討する。
バイオメディカル領域における実験結果から,提案手法は,(時間とメモリ)効率と有効性の観点から,異なるベンチマークバイオメディカルデータセット上でスロットタグ付けを行うための従来の最先端システムよりも優れていることが示された。
出力スロットタグは会話エージェントが入力発話中のエンティティをよりよく識別するために使用することができる。
関連論文リスト
- Contrastive Learning and Mixture of Experts Enables Precise Vector
Embeddings [0.0]
トランスフォーマーニューラルネットワークは、自然言語入力の効率的なベクトル表現を生成する。
これらのモデルはドメイン固有のコンテキストにおいて顕著な課題に直面します。
我々は、最先端モデルを微調整するための2つの重要な戦略を採用している。
論文 参考訳(メタデータ) (2024-01-28T17:34:42Z) - MDViT: Multi-domain Vision Transformer for Small Medical Image
Segmentation Datasets [1.988145627448243]
医用画像セグメンテーション(MIS)を改善するための有望なソリューションとして、ビジョントランスフォーマー(ViT)が登場した。
ViTは通常、単一のデータソースを使用してトレーニングされ、他の利用可能なデータセットから活用できる貴重な知識を見落としている。
本稿では,データハンガーを緩和し,NKTと戦うドメインアダプタを含む,最初のマルチドメイン ViT である MDViT を提案する。
論文 参考訳(メタデータ) (2023-07-05T08:19:29Z) - Set-based Meta-Interpolation for Few-Task Meta-Learning [79.85241791994562]
そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。
様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
論文 参考訳(メタデータ) (2022-05-20T06:53:03Z) - Unsupervised Domain Adaptive Learning via Synthetic Data for Person
Re-identification [101.1886788396803]
人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。
残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。
本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
論文 参考訳(メタデータ) (2021-09-12T15:51:41Z) - Streaming Self-Training via Domain-Agnostic Unlabeled Images [62.57647373581592]
視覚認識モデル学習の過程を民主化することを目的としたストリーミング自己学習(SST)を提案する。
SSTの鍵となるのは、(1)ドメインに依存しない未ラベル画像により、追加の知識や監督なしにいくつかのラベル付き例でより良いモデルを学ぶことができ、(2)学習は継続的なプロセスであり、学習更新のスケジュールを構築することで行うことができる。
論文 参考訳(メタデータ) (2021-04-07T17:58:39Z) - Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。
本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。
ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
論文 参考訳(メタデータ) (2021-04-01T23:41:41Z) - Sequential Sentence Classification in Research Papers using Cross-Domain
Multi-Task Learning [4.2443814047515716]
本研究では,一様深層学習アーキテクチャとマルチタスク学習を提案する。
当社のアプローチは,3つのベンチマークデータセット上でのテクニックの状況よりも優れています。
論文 参考訳(メタデータ) (2021-02-11T13:54:10Z) - Linguistically-Enriched and Context-Aware Zero-shot Slot Filling [6.06746295810681]
スロット充填は、現代のタスク指向ダイアログシステムの最も重要な課題の1つです。
新たなドメイン(すなわち、トレーニングの見当たらない)がデプロイ後に出現する可能性がある。
モデルがシームレスに適応し、見えないドメインと見えないドメインの両方からスロットを埋めることは必須である。
論文 参考訳(メタデータ) (2021-01-16T20:18:16Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - mDALU: Multi-Source Domain Adaptation and Label Unification with Partial
Datasets [102.62639692656458]
本稿では,この課題をマルチソースドメイン適応とラベル統一の問題として扱う。
本手法は,部分教師あり適応段階と完全教師あり適応段階からなる。
本手法は,画像分類,2次元意味画像分割,ジョイント2d-3d意味セグメンテーションの3つのタスクで検証する。
論文 参考訳(メタデータ) (2020-12-15T15:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。