論文の概要: Structured Prediction as Translation between Augmented Natural Languages

• arxiv url: http://arxiv.org/abs/2101.05779v2
• Date: Thu, 28 Jan 2021 22:08:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 00:58:09.494062
• Title: Structured Prediction as Translation between Augmented Natural Languages
• Title（参考訳）: 拡張自然言語間の翻訳としての構造化予測
• Authors: Giovanni Paolini, Ben Athiwaratkun, Jason Krone, Jie Ma, Alessandro Achille, Rishita Anubhai, Cicero Nogueira dos Santos, Bing Xiang, Stefano Soatto
• Abstract要約: 本研究では,構造化予測言語の課題を解決するために,新しいフレームワークであるTANL(Translation between Augmented Natural Languages)を提案する。 タスク固有の差別を訓練することで問題に取り組む代わりに、拡張自然言語間の翻訳タスクとして位置づける。 提案手法は, タスク固有のモデルに適合するか, 性能に優れ, 特に, 共同エンティティと関係抽出に関する新たな最先端結果が得られる。
• 参考スコア（独自算出の注目度）: 109.50236248762877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new framework, Translation between Augmented Natural Languages (TANL), to solve many structured prediction language tasks including joint entity and relation extraction, nested named entity recognition, relation classification, semantic role labeling, event extraction, coreference resolution, and dialogue state tracking. Instead of tackling the problem by training task-specific discriminative classifiers, we frame it as a translation task between augmented natural languages, from which the task-relevant information can be easily extracted. Our approach can match or outperform task-specific models on all tasks, and in particular, achieves new state-of-the-art results on joint entity and relation extraction (CoNLL04, ADE, NYT, and ACE2005 datasets), relation classification (FewRel and TACRED), and semantic role labeling (CoNLL-2005 and CoNLL-2012). We accomplish this while using the same architecture and hyperparameters for all tasks and even when training a single model to solve all tasks at the same time (multi-task learning). Finally, we show that our framework can also significantly improve the performance in a low-resource regime, thanks to better use of label semantics.
• Abstract（参考訳）: 本稿では,複合エンティティと関係抽出,ネスト名前付きエンティティ認識,関係分類,意味的役割ラベリング,イベント抽出,コリファレンス解決,対話状態追跡など,多くの構造化予測言語タスクを解決するための新しいフレームワークである拡張自然言語間翻訳(tanl)を提案する。 タスク固有の識別分類器を訓練することで問題に取り組む代わりに、タスク関連情報を容易に抽出できる拡張自然言語間の翻訳タスクとして構成する。 提案手法は,すべてのタスクにおいてタスク固有モデルに適合し,特に,結合エンティティと関係抽出(CoNLL04,ADE,NYT,ACE2005データセット),関係分類(FewRel,TACRED),セマンティックロールラベル(CoNLL-2005,CoNLL-2012)に関する新たな最先端結果が得られる。 すべてのタスクに対して同じアーキテクチャとハイパーパラメータを使用して、同時にひとつのモデルをトレーニングしてすべてのタスクを解決する場合(マルチタスク学習)、これを実現する。 最後に,このフレームワークはラベルセマンティクスの活用により,低リソース方式の性能を著しく向上させることができることを示す。

関連論文リスト

• UniverSLU: Universal Spoken Language Understanding for Diverse Tasks with Natural Language Instructions [64.50935101415776]
  我々は,様々な音声言語理解(SLU)タスクを共同で行う単一モデルを構築した。 我々は17のデータセットと9の言語にまたがる12の音声分類とシーケンス生成タスクタイプに対して,1つのマルチタスク学習モデル"UniverSLU"の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-04T17:10:23Z)
• Effective Transfer Learning for Low-Resource Natural Language Understanding [15.752309656576129]
  低リソース問題に対処するために、言語横断とドメイン横断の手法の開発に注力する。 まず、タスク関連キーワードに着目して、モデルの言語間能力を改善することを提案する。 第2に,言語間適応のための秩序再現型モデリング手法を提案する。 第3に、クロスドメイン適応のための事前学習において、異なるレベルのドメイン関連コーパスと追加データマスキングを活用することを提案する。
  論文  参考訳（メタデータ） (2022-08-19T06:59:00Z)
• Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language Understanding [51.31622274823167]
  本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。 これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
  論文  参考訳（メタデータ） (2022-08-19T02:46:20Z)
• TAGPRIME: A Unified Framework for Relational Structure Extraction [71.88926365652034]
  TAGPRIMEは、与えられた条件に関する情報を入力テキストに追加するシーケンスタグ付けモデルである。 事前学習された言語モデルにおける自己認識機構により、プライミングワードは、出力された文脈化された表現に、与えられた条件に関するより多くの情報を含む。 5つの異なる言語にまたがる10のデータセットをカバーする3つのタスクに関する大規模な実験と分析は、TAGPRIMEの汎用性と有効性を示している。
  論文  参考訳（メタデータ） (2022-05-25T08:57:46Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• Multidirectional Associative Optimization of Function-Specific Word Representations [86.87082468226387]
  本稿では,関係する単語群間の関連を学習するためのニューラルネットワークフレームワークを提案する。 我々のモデルは結合関数固有の単語ベクトル空間を誘導し、例えば可塑性SVO合成のベクトルが近接して配置される。 このモデルは、共同空間においても単語群のメンバーシップに関する情報を保持し、SVO構造を前提とした複数のタスクに効果的に適用することができる。
  論文  参考訳（メタデータ） (2020-05-11T17:07:20Z)
• Mutlitask Learning for Cross-Lingual Transfer of Semantic Dependencies [21.503766432869437]
  我々は,意味的アノテーションのない言語に対して,広範囲なセマンティック依存関係を開発する。 我々はアノテーション投影法と組み合わせたマルチタスク学習フレームワークを利用する。 ドメイン内のSemEvalデータにおいて、最良マルチタスクモデルにより、単一タスクベースライン上のラベル付きF1スコアが1.8向上することを示す。
  論文  参考訳（メタデータ） (2020-04-30T17:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。