Fugu-MT 論文翻訳(概要): Character-level Representations Improve DRS-based Semantic Parsing Even in the Age of BERT

論文の概要: Character-level Representations Improve DRS-based Semantic Parsing Even in the Age of BERT

arxiv url: http://arxiv.org/abs/2011.04308v1
Date: Mon, 9 Nov 2020 10:24:12 GMT
ステータス: 処理完了
システム内更新日: 2022-09-28 00:59:35.014184
Title: Character-level Representations Improve DRS-based Semantic Parsing Even in the Age of BERT
Title（参考訳）: BERT時代においても文字レベルの表現はDRSに基づく意味解析を改善する
Authors: Rik van Noord, Antonio Toral, Johan Bos
Abstract要約: 文字レベルと文脈言語モデル表現を組み合わせて解析性能を向上させる。英語では、これらの改善は個々の言語情報ソースを追加するよりも大きい。セマンティックタグに基づく新しい解析手法により,選択したセマンティックな現象のサブセット間で,文字レベルの表現により性能が向上することを示す。
参考スコア（独自算出の注目度）: 6.705577865528099
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We combine character-level and contextual language model representations to improve performance on Discourse Representation Structure parsing. Character representations can easily be added in a sequence-to-sequence model in either one encoder or as a fully separate encoder, with improvements that are robust to different language models, languages and data sets. For English, these improvements are larger than adding individual sources of linguistic information or adding non-contextual embeddings. A new method of analysis based on semantic tags demonstrates that the character-level representations improve performance across a subset of selected semantic phenomena.
Abstract（参考訳）: 文字レベルと文脈言語モデル表現を組み合わせて、談話表現構造解析の性能を向上させる。文字表現は、1つのエンコーダまたは完全に独立したエンコーダのシーケンスからシーケンスへのモデルに簡単に追加でき、異なる言語モデル、言語、データセットにロバストな改善が加えられる。英語では、これらの改善は個々の言語情報ソースの追加や非文脈埋め込みの追加よりも大きい。セマンティックタグに基づく新しい解析手法により,選択したセマンティックな現象のサブセット間で,文字レベルの表現により性能が向上することを示す。

関連論文リスト

Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition [6.767341847275751]
本稿では, Byte Pairの適用課題に対処するために, サブ文字分解を利用した形態素認識サブワードトークン化手法を提案する。我々のアプローチは、事前学習言語モデル(PLM)における言語精度と計算効率のバランスをとる本手法は, NIKL-CoLAの構文的タスクにおいて, 総合的に優れた性能を発揮することを示す。
論文参考訳（メタデータ） (2023-11-07T12:08:21Z)
SenteCon: Leveraging Lexicons to Learn Human-Interpretable Language Representations [51.08119762844217]
SenteConは、深層言語表現に人間の解釈可能性を導入する方法である。 SenteConは、下流タスクにおける予測性能にほとんど、あるいは全くコストをかからない高レベルな解釈性を提供する。
論文参考訳（メタデータ） (2023-05-24T05:06:28Z)
BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
論文参考訳（メタデータ） (2022-06-21T18:34:11Z)
Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文参考訳（メタデータ） (2022-05-23T16:47:37Z)
Modeling Intensification for Sign Language Generation: A Computational Approach [13.57903290481737]
エンドツーエンドの手話生成モデルは手話の韻律を正確に表現していない。我々は、データ駆動方式で強化をモデル化することで、生成した手話における韻律を改善することを目指している。自動メトリクスで評価すると、強化モデリングにおける我々の取り組みがより良い結果をもたらすことが分かりました。
論文参考訳（メタデータ） (2022-03-18T01:13:21Z)
Transferring Semantic Knowledge Into Language Encoders [6.85316573653194]
意味的意味表現から言語エンコーダへ意味的知識を伝達する手法である意味型ミッドチューニングを導入する。このアライメントは分類や三重項の損失によって暗黙的に学習できることを示す。提案手法は, 推論, 理解, テキストの類似性, その他の意味的タスクにおいて, 予測性能の向上を示す言語エンコーダを生成する。
論文参考訳（メタデータ） (2021-10-14T14:11:12Z)
Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
論文参考訳（メタデータ） (2021-04-18T08:13:06Z)
Comparison by Conversion: Reverse-Engineering UCCA from Syntax and Lexical Semantics [29.971739294416714]
堅牢な自然言語理解システムの構築には、さまざまな言語的意味表現が相互に補完するかどうか、明確に評価する必要がある。 i)ルールベースのコンバータ,(ii)他の情報のみを特徴として1つのフレームワークに解析する教師付きデレクシカル化の2つの相補的手法を用いて,異なるフレームワークからの意味表現間のマッピングを評価する。
論文参考訳（メタデータ） (2020-11-02T09:03:46Z)
SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文参考訳（メタデータ） (2020-10-30T13:33:41Z)
BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文参考訳（メタデータ） (2020-04-29T04:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。