論文の概要: GENTLE: A Genre-Diverse Multilayer Challenge Set for English NLP and Linguistic Evaluation

• arxiv url: http://arxiv.org/abs/2306.01966v2
• Date: Fri, 22 Sep 2023 03:31:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 18:44:59.210170
• Title: GENTLE: A Genre-Diverse Multilayer Challenge Set for English NLP and Linguistic Evaluation
• Title（参考訳）: GENTLE: 英語NLPと言語学的評価のための汎用多層チャレンジセット
• Authors: Tatsuya Aoyama, Shabnam Behzad, Luke Gessler, Lauren Levine, Jessica Lin, Yang Janet Liu, Siyao Peng, Yilun Zhu, Amir Zeldes
• Abstract要約: GENTLEは17Kトークンからなる新しい混成英語チャレンジコーパスである。 GENTLEは様々なNLPタスクに手動で注釈付けされる。 我々は、GENTLE上での最先端NLPシステムの評価を行い、全てのタスクにおいて、少なくともいくつかのジャンルにおいて深刻な劣化が見られた。
• 参考スコア（独自算出の注目度）: 15.886585212606787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present GENTLE, a new mixed-genre English challenge corpus totaling 17K tokens and consisting of 8 unusual text types for out-of domain evaluation: dictionary entries, esports commentaries, legal documents, medical notes, poetry, mathematical proofs, syllabuses, and threat letters. GENTLE is manually annotated for a variety of popular NLP tasks, including syntactic dependency parsing, entity recognition, coreference resolution, and discourse parsing. We evaluate state-of-the-art NLP systems on GENTLE and find severe degradation for at least some genres in their performance on all tasks, which indicates GENTLE's utility as an evaluation dataset for NLP systems.
• Abstract（参考訳）: 今回,17kトークンを集計し,辞書項目,eスポーツ解説書,法的文書,医用ノート,詩,数学的証明,syllabuses,脅威文字という,ドメイン評価のための8種類の特殊なテキストタイプからなる,新しい混合型英語チャレンジコーパスを提示する。 GENTLEは、構文依存解析、エンティティ認識、コア参照解決、談話解析など、さまざまなNLPタスクに手動で注釈付けされている。 現状のnlpシステムを評価し,少なくともいくつかのジャンルにおいて,すべてのタスクにおけるパフォーマンスの低下がみられ,nlpシステム評価データセットとしてのsweetの有用性が示唆された。

関連論文リスト

• DIALECTBENCH: A NLP Benchmark for Dialects, Varieties, and Closely-Related Languages [49.38663048447942]
  DIALECTBENCHは,NLPの品種に対する大規模ベンチマークとして初めて提案される。 これにより、異なる言語でNLPシステムの性能を総合的に評価することができる。 標準言語と非標準言語間の性能格差の相当な証拠を提供する。
  論文  参考訳（メタデータ） (2024-03-16T20:18:36Z)
• Text Categorization Can Enhance Domain-Agnostic Stopword Extraction [3.6048839315645442]
  本稿では,自然言語処理(NLP)における停止語抽出におけるテキスト分類の役割について検討する。 MasakhaNEWS, African Stopwords Project, MasakhaPOS のデータセットを利用することで, テキスト分類がドメインに依存しない停止語を, 80%以上の検出成功率で効果的に識別できることが示唆された。
  論文  参考訳（メタデータ） (2024-01-24T11:52:05Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Gen-Z: Generative Zero-Shot Text Classification with Contextualized Label Descriptions [50.92702206798324]
  ゼロショットテキスト分類のための生成的プロンプトフレームワークを提案する。 GEN-Zはラベルの自然言語記述に基づく入力テキストのLM可能性を測定する。 データソースの文脈化によるゼロショット分類は、ゼロショットベースラインと少数ショットベースラインの両方を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2023-11-13T07:12:57Z)
• MISMATCH: Fine-grained Evaluation of Machine-generated Text with Mismatch Error Types [68.76742370525234]
  テキスト間のきめ細かいミスマッチに基づいて、7つのNLPタスクにおける人間の判断をモデル化する新しい評価手法を提案する。 細粒度評価のためのNLPタスクの最近の取り組みに触発されて,13種類のミスマッチエラータイプを紹介した。 7つのNLPタスクから得られた有意なデータセットの文対間のミスマッチ誤差は,人間の評価とよく一致している。
  論文  参考訳（メタデータ） (2023-06-18T01:38:53Z)
• CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
  専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。 CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。 言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
  論文  参考訳（メタデータ） (2022-11-04T12:56:12Z)
• Stylistic Fingerprints, POS-tags and Inflected Languages: A Case Study in Polish [0.0]
  屈折言語は単語形式を疎外し、ほとんどの統計的手続きを複雑にする。 本稿では,文体プロファイルの認識における文法的特徴(POS-tag n-gramsによる評価)と補題形式の有用性について検討する。
  論文  参考訳（メタデータ） (2022-06-05T15:48:16Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)
• Representing Numbers in NLP: a Survey and a Vision [15.035458171592191]
  数値に関する最近のNLP作業は、タスクとメソッドの包括的な分類に整理します。 我々は以前に発行された18個の数値エンコーダとデコーダによる無数の表現選択を解析する。 テキストにおける数値表現のベストプラクティスを合成し、NLPにおける全体的数値化のビジョンを具現化します。
  論文  参考訳（メタデータ） (2021-03-24T12:28:22Z)
• Meta-Embeddings for Natural Language Inference and Semantic Similarity tasks [0.0]
  Word Representationsは、ほぼ全ての高度な自然言語処理(NLP)アプリケーションの中核となるコンポーネントである。 本稿では,主要なNLPタスクに効率よく取り組むために,SOTA(State-of-the-Art)モデルから派生したメタ埋め込みを提案する。
  論文  参考訳（メタデータ） (2020-12-01T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。