論文の概要: Evaluating German Transformer Language Models with Syntactic Agreement Tests

• arxiv url: http://arxiv.org/abs/2007.03765v1
• Date: Tue, 7 Jul 2020 20:01:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 19:41:50.811139
• Title: Evaluating German Transformer Language Models with Syntactic Agreement Tests
• Title（参考訳）: 構文一致テストによるドイツ語変換言語モデルの評価
• Authors: Karolina Zaczynska, Nils Feldhus, Robert Schwarzenberg, Aleksandra Gabryszak, Sebastian M\"oller
• Abstract要約: 事前学習型トランスフォーマー言語モデル(TLM)は、最近NLP(Refashioned Natural Language Processing)を改訂した。 我々は多くの合意タスクを設計し、そのうちのいくつかはドイツ語の特異性を考慮したものである。 実験結果から,現在最先端のドイツのTLMは,一般に合意作業において良好に機能することが示された。
• 参考スコア（独自算出の注目度）: 63.760423764010376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained transformer language models (TLMs) have recently refashioned natural language processing (NLP): Most state-of-the-art NLP models now operate on top of TLMs to benefit from contextualization and knowledge induction. To explain their success, the scientific community conducted numerous analyses. Besides other methods, syntactic agreement tests were utilized to analyse TLMs. Most of the studies were conducted for the English language, however. In this work, we analyse German TLMs. To this end, we design numerous agreement tasks, some of which consider peculiarities of the German language. Our experimental results show that state-of-the-art German TLMs generally perform well on agreement tasks, but we also identify and discuss syntactic structures that push them to their limits.
• Abstract（参考訳）: 事前訓練されたトランスフォーマー言語モデル(TLM)は、最近、自然言語処理(NLP: Refashioned Natural Language Processing)を改訂した。 その成功を説明するために、科学界は数多くの分析を行った。 他の方法の他に、TLMの分析に統語的合意試験が用いられた。 しかし、ほとんどの研究は英語のために行われた。 この研究では、ドイツのTLMを分析します。 この目的のために、我々は多くの合意タスクをデザインし、そのいくつかはドイツ語の特異性を考慮している。 実験結果から,現在最先端のドイツTLMは一般的に合意作業でよく機能するが,その限界に迫る構文構造を特定し,議論する。

関連論文リスト

• Controlled Evaluation of Syntactic Knowledge in Multilingual Language Models [16.414150004715367]
  本研究では,3つの低リソース言語を対象とした構文評価試験を開発した。 オープンアクセス型多言語トランスフォーマーLMの5つのファミリーを評価する。 いくつかの構文的タスクは、LMにとって比較的容易であるのに対して、他のタスクは困難である。
  論文  参考訳（メタデータ） (2024-11-12T01:26:41Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
  LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。 大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。 英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
  論文  参考訳（メタデータ） (2023-12-21T05:32:49Z)
• A Comparative Analysis of Pretrained Language Models for Text-to-Speech [13.962029761484022]
  State-of-the-the-art text-to-speech (TTS) システムは、韻律を高め、より自然な音声を生成するために、事前訓練された言語モデル(PLM)を利用している。 PLMは自然言語理解(NLU)のために広く研究されているが、TSへの影響は見過ごされている。 本研究は、異なるPLMがTSに与える影響を調査する最初の研究である。
  論文  参考訳（メタデータ） (2023-09-04T13:02:27Z)
• How Does Pretraining Improve Discourse-Aware Translation? [41.20896077662125]
  本稿では,事前学習した言語モデルが会話関係の知識を捉える能力を理解するための探索タスクを提案する。 我々は、エンコーダ-、デコーダ-、およびエンコーダ-デコーダ-ベースモデルの3つの最先端PLMを検証する。 本研究は, PLMにおける言論的知識が下流作業にどのように機能するか, どのように機能するかを理解するための指導的手法である。
  論文  参考訳（メタデータ） (2023-05-31T13:36:51Z)
• Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
  事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。 モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
  論文  参考訳（メタデータ） (2023-04-26T19:55:52Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)
• LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
  本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。 我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-11-10T05:09:16Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。