論文の概要: Hierarchical Multi Task Learning with Subword Contextual Embeddings for Languages with Rich Morphology

• arxiv url: http://arxiv.org/abs/2004.12247v1
• Date: Sat, 25 Apr 2020 22:55:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 21:25:41.925486
• Title: Hierarchical Multi Task Learning with Subword Contextual Embeddings for Languages with Rich Morphology
• Title（参考訳）: サブワード文脈埋め込みを用いた階層型マルチタスク学習
• Authors: Arda Akdemir and Tetsuo Shibuya and Tunga G\"ung\"or
• Abstract要約: 自然言語処理(NLP)における多くのシーケンスラベリングタスクにおける形態情報の重要性 本研究では, 単語文脈埋め込みを用いて, 豊富な形態素を持つ言語に対する形態情報を取得することを提案する。 我々のモデルは、トルコ語の両方のタスクにおける過去の最先端モデルよりも優れています。
• 参考スコア（独自算出の注目度）: 5.5217350574838875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Morphological information is important for many sequence labeling tasks in Natural Language Processing (NLP). Yet, existing approaches rely heavily on manual annotations or external software to capture this information. In this study, we propose using subword contextual embeddings to capture the morphological information for languages with rich morphology. In addition, we incorporate these embeddings in a hierarchical multi-task setting which is not employed before, to the best of our knowledge. Evaluated on Dependency Parsing (DEP) and Named Entity Recognition (NER) tasks, which are shown to benefit greatly from morphological information, our final model outperforms previous state-of-the-art models on both tasks for the Turkish language. Besides, we show a net improvement of 18.86% and 4.61% F-1 over the previously proposed multi-task learner in the same setting for the DEP and the NER tasks, respectively. Empirical results for five different MTL settings show that incorporating subword contextual embeddings brings significant improvements for both tasks. In addition, we observed that multi-task learning consistently improves the performance of the DEP component.
• Abstract（参考訳）: 形態情報は自然言語処理(NLP)における多くのシーケンスラベリングタスクにおいて重要である。 しかし、既存のアプローチでは、この情報を取得するために手動アノテーションや外部ソフトウェアに大きく依存している。 そこで本研究では,単語の文脈的埋め込みを用いて,形態素に富む言語の形態情報を取り込む手法を提案する。 さらに、これらの埋め込みを、これまで採用されていない階層的なマルチタスク設定に組み込んで、私たちの知識を最大限に活用する。 DEP(Dependency Parsing)とNER(Named Entity Recognition)タスクの評価を行った結果,トルコ語の両方のタスクにおいて,最終モデルは従来の最先端モデルよりも優れていたことがわかった。 さらに,提案したマルチタスク学習者に対して,DEPタスクとNERタスクをそれぞれ同じ設定で18.86%,F-1を4.61%改善した。 5つの異なるMTL設定に対する実証的な結果から、サブワードコンテキスト埋め込みを組み込むことで、両方のタスクに大きな改善がもたらされる。 さらに,マルチタスク学習はDEPコンポーネントの性能を継続的に改善することを示した。

関連論文リスト

• Layer by Layer: Uncovering Where Multi-Task Learning Happens in Instruction-Tuned Large Language Models [22.676688441884465]
  タスクの多種多様な配列で訓練済みの大規模言語モデル(LLM)を微調整することが、モデル構築の一般的なアプローチとなっている。 本研究では,事前学習したLLMに符号化されたタスク固有情報と,その表現に対する指導指導の効果について検討する。
  論文  参考訳（メタデータ） (2024-10-25T23:38:28Z)
• VEGA: Learning Interleaved Image-Text Comprehension in Vision-Language Large Models [76.94378391979228]
  我々は、Interleaved Image-Text (IITC) と呼ばれる、より要求の多い新しいタスクを導入する。 この課題は、画像とテキストの両方の過剰な要素を識別・無視し、質問に正確に答えるためにモデルに挑戦する。 このタスクを支援するために、科学コンテンツに関するIITCタスクに適した新しいVEGAデータセットを構築し、サブタスクである画像テキストアソシエーション(ITA)を考案した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:40Z)
• Multi-Task Learning for Front-End Text Processing in TTS [15.62497569424995]
  テキストから音声のフロントエンドで一般的に解決される3つのタスクを共同で実行するためのマルチタスク学習(MTL)モデルを提案する。 我々のフレームワークは、共有表現を学習するトランクを持つ木のような構造を利用し、その後にタスク固有ヘッドを分離する。
  論文  参考訳（メタデータ） (2024-01-12T02:13:21Z)
• Rethinking and Improving Multi-task Learning for End-to-end Speech Translation [51.713683037303035]
  異なる時間とモジュールを考慮したタスク間の整合性について検討する。 テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。 長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T08:48:46Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• Visualizing the Relationship Between Encoded Linguistic Information and Task Performance [53.223789395577796]
  本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。 我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。 実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-29T19:03:10Z)
• Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
  ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。 依存関係情報を言語誘導型注意機構に処理する。 言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
  論文  参考訳（メタデータ） (2021-09-23T08:13:35Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• Mutlitask Learning for Cross-Lingual Transfer of Semantic Dependencies [21.503766432869437]
  我々は,意味的アノテーションのない言語に対して,広範囲なセマンティック依存関係を開発する。 我々はアノテーション投影法と組み合わせたマルチタスク学習フレームワークを利用する。 ドメイン内のSemEvalデータにおいて、最良マルチタスクモデルにより、単一タスクベースライン上のラベル付きF1スコアが1.8向上することを示す。
  論文  参考訳（メタデータ） (2020-04-30T17:09:51Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。