論文の概要: Multi-Task Learning for Joint Semantic Role and Proto-Role Labeling

• arxiv url: http://arxiv.org/abs/2210.07270v1
• Date: Thu, 13 Oct 2022 18:05:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 16:17:48.523322
• Title: Multi-Task Learning for Joint Semantic Role and Proto-Role Labeling
• Title（参考訳）: 共同意味的役割とプロトタイプラベリングのためのマルチタスク学習
• Authors: Aashish Arora, Harshitha Malireddi, Daniel Bauer, Asad Sayeed, Yuval Marton
• Abstract要約: 我々は,Douty(1991)のセマンティックロールとプロトロールを共同でラベル付けしたエンドツーエンド機械学習モデルを提案する。 ベストアーキテクチャはまず引数の範囲を学習し、その後に引数の構文的ヘッドを学習します。 また、議論と頭部予測から役割とプロトロールラベリングへの伝達学習を実験した。
• 参考スコア（独自算出の注目度）: 1.1199585259018459
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We put forward an end-to-end multi-step machine learning model which jointly labels semantic roles and the proto-roles of Dowty (1991), given a sentence and the predicates therein. Our best architecture first learns argument spans followed by learning the argument's syntactic heads. This information is shared with the next steps for predicting the semantic roles and proto-roles. We also experiment with transfer learning from argument and head prediction to role and proto-role labeling. We compare using static and contextual embeddings for words, arguments, and sentences. Unlike previous work, our model does not require pre-training or fine-tuning on additional tasks, beyond using off-the-shelf (static or contextual) embeddings and supervision. It also does not require argument spans, their semantic roles, and/or their gold syntactic heads as additional input, because it learns to predict all these during training. Our multi-task learning model raises the state-of-the-art predictions for most proto-roles.
• Abstract（参考訳）: 文と述語が与えられたDouty(1991)のセマンティックロールとプロトロールを共同でラベル付けしたエンドツーエンドの多段階機械学習モデルを提案する。 ベストアーキテクチャはまず引数の範囲を学習し、その後に引数の構文ヘッドを学習します。 この情報は、意味的役割とプロトロールを予測する次のステップと共有される。 また、議論と頭部予測から役割とプロトロールラベリングへの伝達学習を実験した。 単語,引数,文に対する静的および文脈埋め込みを用いて比較する。 これまでの作業とは異なり、当社のモデルは、オフザシェルフ(静的あるいはコンテキスト的)埋め込みと監視以外の、追加タスクの事前トレーニングや微調整を必要としない。 また、トレーニング中にこれらすべてを予測することを学ぶため、追加入力として引数スパン、意味的役割、および/または金の構文ヘッドを必要としない。 我々のマルチタスク学習モデルは、ほとんどのプロトロールに対して最先端の予測を提起する。

関連論文リスト

• How to Plant Trees in Language Models: Data and Architectural Effects on the Emergence of Syntactic Inductive Biases [28.58785395946639]
  事前学習は、微調整後にタスクを実行する際に、階層的な構文的特徴に依存するように言語モデルを教えることができることを示す。 アーキテクチャの特徴(深さ、幅、パラメータ数)と、事前学習コーパスのジャンルとサイズに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-31T14:38:14Z)
• Open-Vocabulary Argument Role Prediction for Event Extraction [70.93524366880521]
  本稿では,この本質的だが未探索な課題,すなわち開語彙的引数ロール予測を定義する。 このタスクの目標は、所定のイベントタイプに対する引数ロールのセットを推論することである。 本稿では,この課題に対する新しい教師なしフレームワークであるRolePredを提案する。
  論文  参考訳（メタデータ） (2022-11-03T04:13:37Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• Embodying Pre-Trained Word Embeddings Through Robot Actions [9.048164930020404]
  多語語を含む様々な言語表現に適切に対応することは、ロボットにとって重要な能力です。 これまでの研究で、ロボットは事前訓練された単語埋め込みを用いることで、アクション記述ペアデータセットに含まれていない単語を使用できることが示されている。 ロボットの感覚運動体験を用いて,事前学習された単語埋め込みを具体化したものに変換する。
  論文  参考訳（メタデータ） (2021-04-17T12:04:49Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Unsupervised Transfer of Semantic Role Models from Verbal to Nominal Domain [65.04669567781634]
  そこで本研究では,目的の名詞領域のラベル付きデータのみを用いて,目的の名詞領域のロールアノテートデータを仮定するトランスファーシナリオについて検討する。 我々の重要な前提は、二つの領域間の移動を可能にすることであり、ある役割の選択的選好は、その関係が動詞または名詞によって引き起こされるかどうかに強く依存しないということである。 この手法は、英語のCoNLL-2009データセットに基づいて、教師なしや直接転送などのベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2020-05-01T09:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。