論文の概要: A Simple and Unified Tagging Model with Priming for Relational Structure Predictions

• arxiv url: http://arxiv.org/abs/2205.12585v1
• Date: Wed, 25 May 2022 08:57:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 13:51:35.547156
• Title: A Simple and Unified Tagging Model with Priming for Relational Structure Predictions
• Title（参考訳）: 関係構造予測のためのプライミング付き簡易統一タグモデル
• Authors: I-Hung Hsu, Kuan-Hao Huang, Shuning Zhang, Wenxin Cheng, Premkumar Natarajan, Kai-Wei Chang, Nanyun Peng
• Abstract要約: 単純なタグ付けモデルは、小さなトリック -- プライミング -- で、驚くほど競争力のあるパフォーマンスを達成できることを示します。 事前訓練された言語モデルの入力シーケンスに、操作対象に関する付加プライミング情報を付加したタグ付けモデル。 5つの異なる言語にまたがる10のデータセットにまたがる3つの異なるタスクに関する広範な実験を行います。
• 参考スコア（独自算出の注目度）: 71.88926365652034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relational structure extraction covers a wide range of tasks and plays an important role in natural language processing. Recently, many approaches tend to design sophisticated graphical models to capture the complex relations between objects that are described in a sentence. In this work, we demonstrate that simple tagging models can surprisingly achieve competitive performances with a small trick -- priming. Tagging models with priming append information about the operated objects to the input sequence of pretrained language model. Making use of the contextualized nature of pretrained language model, the priming approach help the contextualized representation of the sentence better embed the information about the operated objects, hence, becomes more suitable for addressing relational structure extraction. We conduct extensive experiments on three different tasks that span ten datasets across five different languages, and show that our model is a general and effective model, despite its simplicity. We further carry out comprehensive analysis to understand our model and propose an efficient approximation to our method, which can perform almost the same performance but with faster inference speed.
• Abstract（参考訳）: 関係構造抽出は幅広いタスクをカバーし、自然言語処理において重要な役割を果たす。 近年,文に記述されたオブジェクト間の複雑な関係を捉えるために,高度なグラフィカルモデルを設計するアプローチが増えている。 本研究では,簡単なタグ付けモデルが,小さなトリック -- プライミング によって,驚くほど競争的パフォーマンスを達成できることを実証する。 事前訓練された言語モデルの入力シーケンスに操作対象に関する情報を付加したタグ付けモデル。 事前訓練された言語モデルの文脈化の性質を利用することで、文の文脈化表現が操作対象に関する情報をより深く埋め込むのに役立つので、関係構造抽出にもっと適している。 我々は5つの異なる言語にまたがる10のデータセットにまたがる3つの異なるタスクについて広範な実験を行い、その単純さにもかかわらず、我々のモデルは汎用的で効果的なモデルであることを示す。 さらに, モデルを理解するため, 包括的解析を行い, 推定速度は速く, ほぼ同じ性能で, 効率的な近似法を提案する。

関連論文リスト

• Beyond Relevant Documents: A Knowledge-Intensive Approach for Query-Focused Summarization using Large Language Models [27.90653125902507]
  本稿では,知識集約型タスク設定として,クエリ中心の要約を再構成する知識集約型アプローチを提案する。 検索モジュールは、大規模知識コーパスから潜在的に関連のある文書を効率的に検索する。 要約コントローラは、強力な大言語モデル(LLM)ベースの要約器を注意深く調整されたプロンプトとシームレスに統合する。
  論文  参考訳（メタデータ） (2024-08-19T18:54:20Z)
• Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language Understanding [51.31622274823167]
  本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。 これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
  論文  参考訳（メタデータ） (2022-08-19T02:46:20Z)
• Improving Multi-task Generalization Ability for Neural Text Matching via Prompt Learning [54.66399120084227]
  最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。 我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。 特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。 一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
  論文  参考訳（メタデータ） (2022-04-06T11:01:08Z)
• InstructionNER: A Multi-Task Instruction-Based Generative Framework for Few-shot NER [31.32381919473188]
  InstructionNERというマルチタスク命令ベースの生成フレームワークを提案する。 具体的には、NERタスクを生成問題として再構成し、タスク固有の命令と回答オプションでソース文を豊かにし、自然言語のエンティティと型を推論する。 実験結果から,本手法は5つのデータセットのベースラインを数ショット設定で一貫的に上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-03-08T07:56:36Z)
• Zero-Shot Information Extraction as a Unified Text-to-Triple Translation [56.01830747416606]
  我々は、テキストから3つの翻訳フレームワークに一連の情報抽出タスクを投入した。 タスク固有の入力テキストと出力トリプルの変換としてタスクを形式化する。 本稿では,オープン情報抽出におけるゼロショット性能について検討する。
  論文  参考訳（メタデータ） (2021-09-23T06:54:19Z)
• GroupLink: An End-to-end Multitask Method for Word Grouping and Relation Extraction in Form Understanding [25.71040852477277]
  単語グループ化と関係抽出を組み合わせたマルチタスク学習によるエンドツーエンドモデルを構築し,各タスクの性能向上を図る。 提案手法を実世界の完全注釈付きノイズスキャンベンチマークであるFUNSDで検証する。
  論文  参考訳（メタデータ） (2021-05-10T20:15:06Z)
• Structured Prediction as Translation between Augmented Natural Languages [109.50236248762877]
  本研究では,構造化予測言語の課題を解決するために,新しいフレームワークであるTANL(Translation between Augmented Natural Languages)を提案する。 タスク固有の差別を訓練することで問題に取り組む代わりに、拡張自然言語間の翻訳タスクとして位置づける。 提案手法は, タスク固有のモデルに適合するか, 性能に優れ, 特に, 共同エンティティと関係抽出に関する新たな最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-01-14T18:32:21Z)
• Detecting Ongoing Events Using Contextual Word and Sentence Embeddings [110.83289076967895]
  本稿では,OED(Ongoing Event Detection)タスクを紹介する。 目的は、歴史、未来、仮説、あるいは新しいものでも現在のものでもない他の形式や出来事に対してのみ、進行中のイベントの言及を検出することである。 構造化されていないテキストから進行中のイベントに関する構造化情報を抽出する必要があるアプリケーションは、OEDシステムを利用することができる。
  論文  参考訳（メタデータ） (2020-07-02T20:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。