論文の概要: Deeper Task-Specificity Improves Joint Entity and Relation Extraction
- arxiv url: http://arxiv.org/abs/2002.06424v1
- Date: Sat, 15 Feb 2020 18:34:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-31 23:11:34.361237
- Title: Deeper Task-Specificity Improves Joint Entity and Relation Extraction
- Title（参考訳）: タスク特化度の向上による統合エンティティと関係抽出
- Authors: Phil Crone
- Abstract要約: マルチタスク学習(MTL)は、関連するタスクを学習するための効果的な方法であるが、MTLモデルを設計するには、どのパラメータをタスク固有のものにするかを決定する必要がある。
本稿では,従来の作業よりも深いタスク特異性を実現するニューラルアーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task learning (MTL) is an effective method for learning related tasks,
but designing MTL models necessitates deciding which and how many parameters
should be task-specific, as opposed to shared between tasks. We investigate
this issue for the problem of jointly learning named entity recognition (NER)
and relation extraction (RE) and propose a novel neural architecture that
allows for deeper task-specificity than does prior work. In particular, we
introduce additional task-specific bidirectional RNN layers for both the NER
and RE tasks and tune the number of shared and task-specific layers separately
for different datasets. We achieve state-of-the-art (SOTA) results for both
tasks on the ADE dataset; on the CoNLL04 dataset, we achieve SOTA results on
the NER task and competitive results on the RE task while using an order of
magnitude fewer trainable parameters than the current SOTA architecture. An
ablation study confirms the importance of the additional task-specific layers
for achieving these results. Our work suggests that previous solutions to joint
NER and RE undervalue task-specificity and demonstrates the importance of
correctly balancing the number of shared and task-specific parameters for MTL
approaches in general.
- Abstract（参考訳）: マルチタスク学習(MTL)は、関連するタスクを学習するための効果的な方法であるが、MTLモデルを設計するには、タスク間で共有されるのとは対照的に、どのパラメータがタスク固有であるかを決定する必要がある。
本稿では、名前付きエンティティ認識(ner)と関係抽出(re)を共同で学習する問題について検討し、先行研究よりも深いタスク固有性を可能にする新しいニューラルアーキテクチャを提案する。
特に、NERタスクとREタスクの両方にタスク固有の双方向RNNレイヤを導入し、異なるデータセットに対して共有層とタスク固有のレイヤの数を個別に調整する。
CoNLL04データセットでは、現在のSOTAアーキテクチャよりもトレーニング可能なパラメータを桁違いに減らしながら、NERタスクとREタスクの競合結果のSOTA結果を得る。
アブレーション研究は、これらの結果を達成するために追加のタスク固有の層の重要性を確認する。
我々の研究は、従来のNERとREのアンダーバリュータスク固有性に対する解法は、一般的にMLLアプローチにおける共有パラメータとタスク固有パラメータの数とを正しくバランスさせることの重要性を示唆している。
関連論文リスト
- Giving each task what it needs -- leveraging structured sparsity for tailored multi-task learning [4.462334751640166]
マルチタスク学習(MTL)フレームワークでは、各タスクは、低レベルから高レベルの属性まで、異なる特徴表現を要求する。
この研究は、構造化された空間を利用して個々のタスクの特徴選択を洗練し、マルチタスクシナリオにおける全てのタスクのパフォーマンスを向上させるレイヤdマルチタスクモデルを導入する。
論文 参考訳（メタデータ） (2024-06-05T08:23:38Z) - InterroGate: Learning to Share, Specialize, and Prune Representations
for Multi-task Learning [17.66308231838553]
推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。
学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
論文 参考訳（メタデータ） (2024-02-26T18:59:52Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Mitigating Task Interference in Multi-Task Learning via Explicit Task
Routing with Non-Learnable Primitives [19.90788777476128]
マルチタスク学習(MTL)は、タスク間の共有情報を活用することで、複数のタスクを達成するための単一のモデルを学ぶことを目指している。
既存のMLLモデルはタスク間の負の干渉に悩まされていることが知られている。
本研究では,非学習可能なプリミティブと明示的なタスクルーティングの相乗的組み合わせによるタスク干渉を軽減するためのETR-NLPを提案する。
論文 参考訳（メタデータ） (2023-08-03T22:34:16Z) - Task Aware Feature Extraction Framework for Sequential Dependence
Multi-Task Learning [1.0765359420035392]
我々は厳密な数学的観点から逐次依存型MLLを解析する。
逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-01-06T13:12:59Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳（メタデータ） (2021-10-14T07:43:39Z) - Rethinking Hard-Parameter Sharing in Multi-Task Learning [20.792654758645302]
マルチタスク学習(MTL)におけるハードパラメータ共有により、タスクはモデルのパラメータの一部を共有でき、ストレージコストを低減し、予測精度を向上させることができる。
共通の共有プラクティスは、タスク毎に別々のトップレイヤを使用しながら、タスク間でディープニューラルネットワークのボトムレイヤを共有することだ。
異なるボトム層パラメータを使用することで、一般的なプラクティスよりも大幅にパフォーマンスが向上する可能性がある。
論文 参考訳（メタデータ） (2021-07-23T17:26:40Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳（メタデータ） (2021-04-28T16:45:56Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。