論文の概要: Does Character-level Information Always Improve DRS-based Semantic Parsing?

• arxiv url: http://arxiv.org/abs/2306.02302v1
• Date: Sun, 4 Jun 2023 08:54:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 18:34:38.902052
• Title: Does Character-level Information Always Improve DRS-based Semantic Parsing?
• Title（参考訳）: 文字レベルの情報は常にdrsベースの意味解析を改善するか?
• Authors: Tomoya Kurosawa and Hitomi Yanaka
• Abstract要約: State-of-the-art Neural semantic Structures for Representationは文字レベルの表現を使用する。 本研究では,文字列の順序による性能変化の詳細な解析を行う。 その結果,文字レベル情報の導入は,英語とドイツ語のパフォーマンスを向上させるものではないことが示唆された。
• 参考スコア（独自算出の注目度）: 9.683269364766426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Even in the era of massive language models, it has been suggested that character-level representations improve the performance of neural models. The state-of-the-art neural semantic parser for Discourse Representation Structures uses character-level representations, improving performance in the four languages (i.e., English, German, Dutch, and Italian) in the Parallel Meaning Bank dataset. However, how and why character-level information improves the parser's performance remains unclear. This study provides an in-depth analysis of performance changes by order of character sequences. In the experiments, we compare F1-scores by shuffling the order and randomizing character sequences after testing the performance of character-level information. Our results indicate that incorporating character-level information does not improve the performance in English and German. In addition, we find that the parser is not sensitive to correct character order in Dutch. Nevertheless, performance improvements are observed when using character-level information.
• Abstract（参考訳）: 大規模言語モデルの時代でさえ、文字レベルの表現はニューラルモデルの性能を向上させることが示唆されている。 state-of-the-art neural semantic parser for discourse representation structuresでは、文字レベルの表現を使用して、4つの言語(英語、ドイツ語、オランダ語、イタリア語)のパフォーマンスを改善している。 しかし、文字レベルの情報がパーザのパフォーマンスを改善する方法と理由はまだ不明である。 本研究では,文字列の順序による性能変化の詳細な解析を行う。 実験では,文字レベル情報の性能をテストした結果,順序をシャッフルし,文字列をランダム化することで,f1スコアを比較する。 その結果,文字レベル情報の導入は,英語とドイツ語のパフォーマンスを向上させるものではないことがわかった。 さらに、オランダ語では、パーサーは正しい文字順に敏感ではないことがわかった。 それでも文字レベルの情報を使用すると性能改善が観察される。

関連論文リスト

• Understanding the Role of Input Token Characters in Language Models: How Does Information Loss Affect Performance? [45.53600782873268]
  入力トークン文字における情報損失が事前学習言語モデルの性能に与える影響について検討する。 驚くべきことに、極端な設定下であっても事前トレーニングを行うこと、すなわちトークンの1文字だけを使うこと、標準のNLUベンチマークのパフォーマンス保持、および探索タスクが高いことが判明した。 例えば、トークンからの1文字1文字にのみ事前トレーニングされたモデルでは、SuperGLUEタスクとGLUEタスクのフルトーケンモデルの約90ドル%と7,7ドル%のパフォーマンス保持が達成される。
  論文  参考訳（メタデータ） (2023-10-26T09:47:50Z)
• Character-level NMT and language similarity [1.90365714903665]
  チェコ語とクロアチア語、ドイツ語、ハンガリー語、スロバキア語、スペイン語の翻訳における言語類似度およびトレーニングデータセットのサイズに対する文字レベルのニューラルマシン翻訳の有効性について検討した。 MT自動測定値を用いてモデルの評価を行い、類似言語間の翻訳が文字レベルの入力セグメンテーションの恩恵を受けることを示す。 我々は、すでに訓練済みのサブワードレベルのモデルを文字レベルに微調整することで、ギャップを埋めることが可能である、という以前の知見を確認した。
  論文  参考訳（メタデータ） (2023-08-08T17:01:42Z)
• Syntax-guided Localized Self-attention by Constituency Syntactic Distance [26.141356981833862]
  本稿では,Transformerのための構文誘導型ローカライズ自己アテンションを提案する。 外部の選挙区から直接文法構造を組み込むことができる。 実験結果から,本モデルによる翻訳性能の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-10-21T06:37:25Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Patching Leaks in the Charformer for Efficient Character-Level Generation [3.734153902687548]
  文字ベースの表現は、形態的にリッチな言語に対するサブワードベースの表現よりも重要な利点がある。 GBSTメソッドはCharformerグループ(別名 downsamples)の文字でこの問題を解決するが、Transformerデコーダに適用されると情報が漏洩する。 我々は, 従来のダウンサンプリング法に比べて翻訳品質の点でNMTに明らかなメリットはないことを示した。
  論文  参考訳（メタデータ） (2022-05-27T16:36:45Z)
• How Robust is Neural Machine Translation to Language Imbalance in Multilingual Tokenizer Training? [86.48323488619629]
  トークン化学習コーパスにおいて,言語間でのデータ比が変化するにつれて,翻訳性能がどう変化するかを分析する。 言語が均等にサンプリングされる場合、比較的優れたパフォーマンスが観察されることが多いが、下流のパフォーマンスは、通常予想していたよりも、言語の不均衡に対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-29T17:50:36Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.16128796194463]
  モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
  論文  参考訳（メタデータ） (2021-06-23T22:24:14Z)
• Character-level Representations Improve DRS-based Semantic Parsing Even in the Age of BERT [6.705577865528099]
  文字レベルと文脈言語モデル表現を組み合わせて解析性能を向上させる。 英語では、これらの改善は個々の言語情報ソースを追加するよりも大きい。 セマンティックタグに基づく新しい解析手法により,選択したセマンティックな現象のサブセット間で,文字レベルの表現により性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-09T10:24:12Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。