論文の概要: Enhancing Language Representation with Constructional Information for Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2306.02819v1
• Date: Mon, 5 Jun 2023 12:15:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 15:21:54.643072
• Title: Enhancing Language Representation with Constructional Information for Natural Language Understanding
• Title（参考訳）: 自然言語理解のための構築情報を用いた言語表現の強化
• Authors: Lvxiaowei Xu, Jianwang Wu, Jiawei Peng, Zhilin Gong, Ming Cai, Tianxiang Wang
• Abstract要約: 構成文法(CxG)を導入し,形式と意味のペアリングを強調した。 使用法に基づく構築文法を作業の基盤として採用する。 HyCxGフレームワークは3段階のソリューションを通じて言語表現を強化するために提案されている。
• 参考スコア（独自算出の注目度）: 5.945710973349298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language understanding (NLU) is an essential branch of natural language processing, which relies on representations generated by pre-trained language models (PLMs). However, PLMs primarily focus on acquiring lexico-semantic information, while they may be unable to adequately handle the meaning of constructions. To address this issue, we introduce construction grammar (CxG), which highlights the pairings of form and meaning, to enrich language representation. We adopt usage-based construction grammar as the basis of our work, which is highly compatible with statistical models such as PLMs. Then a HyCxG framework is proposed to enhance language representation through a three-stage solution. First, all constructions are extracted from sentences via a slot-constraints approach. As constructions can overlap with each other, bringing redundancy and imbalance, we formulate the conditional max coverage problem for selecting the discriminative constructions. Finally, we propose a relational hypergraph attention network to acquire representation from constructional information by capturing high-order word interactions among constructions. Extensive experiments demonstrate the superiority of the proposed model on a variety of NLU tasks.
• Abstract（参考訳）: 自然言語理解(NLU)は、事前訓練された言語モデル(PLM)によって生成された表現に依存する自然言語処理の重要な分野である。 しかしながら, PLM は主に, 構文情報の取得に重点を置いているが, 構造の意味を適切に扱えない可能性がある。 この問題に対処するために,造形文法(cxg)を導入し,形式と意味のペアリングを強調し,言語表現の充実を図る。 PLMのような統計モデルと高度に互換性のある,使用法に基づく構成文法を本研究の基盤として採用する。 次に、3段階の解法を通じて言語表現を強化するためにhycxgフレームワークを提案する。 まず、すべての構成はスロット制約アプローチによって文から抽出される。 構造が重複し、冗長性と不均衡をもたらすため、識別構成を選択するための条件付き最大被覆問題を定式化する。 最後に,構築物間の高次単語相互作用を捉えることで,構築情報から表現を得るための関係ハイパーグラフアテンションネットワークを提案する。 広範囲な実験は、様々なNLUタスクにおいて提案されたモデルの優越性を実証している。

関連論文リスト

• Emergent Linguistic Structures in Neural Networks are Fragile [20.692540987792732]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すと報告されている。 言語表現の一貫性と堅牢性を評価するための枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T15:43:57Z)
• Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
  事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。 本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。 この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
  論文  参考訳（メタデータ） (2022-10-26T04:47:18Z)
• Language-Based Causal Representation Learning [24.008923963650226]
  本研究では,ドメインに依存しない1次因果関係言語を用いて動的に学習することを示す。 データと互換性のある言語で最もコンパクトな表現を好むことは、強く意味のある学習バイアスをもたらす。 古典的AI」は手作りの表現を必要とするが、同じ言語上の非構造化データから類似の表現を学ぶことができる。
  論文  参考訳（メタデータ） (2022-07-12T02:07:58Z)
• Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
  中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。 文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。 本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-04-15T02:36:49Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• A Generative Model for Joint Natural Language Understanding and Generation [9.810053382574017]
  本研究では,NLUとNLGを結合した生成モデルを提案する。 本モデルでは,2つの対話データセットに対して,フラットおよびツリー構造の両方の形式表現を用いて,最先端のパフォーマンスを実現する。 また,モデルの性能向上のために,ラベルのないデータを活用することで,半教師付きでモデルを訓練できることも示す。
  論文  参考訳（メタデータ） (2020-06-12T22:38:55Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。