論文の概要: Swords: A Benchmark for Lexical Substitution with Improved Data Coverage and Quality

• arxiv url: http://arxiv.org/abs/2106.04102v1
• Date: Tue, 8 Jun 2021 04:58:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 06:38:47.974505
• Title: Swords: A Benchmark for Lexical Substitution with Improved Data Coverage and Quality
• Title（参考訳）: Swords: データカバレッジと品質を改善した語彙置換のためのベンチマーク
• Authors: Mina Lee, Chris Donahue, Alexander Iyabor, Robin Jia, Percy Liang
• Abstract要約: 語彙置換のための新しいベンチマークを新たにリリースし、コンテキスト内でターゲット単語の適切な代用語を見つける。 我々は、文脈のないシソーラスを用いて候補を生成し、文脈的適切性を決定するために人間の判断に依存する。 これまでの最大のベンチマークと比較すると、我々のSwordsベンチマークは、同じ品質の単語に対して、ターゲットワード当たり4.1倍の代替品を持ち、その代替品は、同じ数の代用品に対して1.5倍(人間の判断に基づいて)適している。
• 参考スコア（独自算出の注目度）: 126.55416118361495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We release a new benchmark for lexical substitution, the task of finding appropriate substitutes for a target word in a context. To assist humans with writing, lexical substitution systems can suggest words that humans cannot easily think of. However, existing benchmarks depend on human recall as the only source of data, and therefore lack coverage of the substitutes that would be most helpful to humans. Furthermore, annotators often provide substitutes of low quality, which are not actually appropriate in the given context. We collect higher-coverage and higher-quality data by framing lexical substitution as a classification problem, guided by the intuition that it is easier for humans to judge the appropriateness of candidate substitutes than conjure them from memory. To this end, we use a context-free thesaurus to produce candidates and rely on human judgement to determine contextual appropriateness. Compared to the previous largest benchmark, our Swords benchmark has 4.1x more substitutes per target word for the same level of quality, and its substitutes are 1.5x more appropriate (based on human judgement) for the same number of substitutes.
• Abstract（参考訳）: 語彙置換のための新しいベンチマークを新たにリリースし、コンテキスト内でターゲット単語の適切な代用語を見つける。 人間が書くのを助けるために、語彙置換システムは、人間が簡単に考えられない単語を提案できる。 しかし、既存のベンチマークは、唯一のデータソースとして人間のリコールに依存するため、ヒトにとって最も役立つ代替品のカバレッジが欠落している。 さらにアノテータは、与えられた文脈では実際には適切でない低品質の代用品を提供することが多い。 語彙置換を分類問題とすることで高いカバレッジと高品質のデータを収集し、記憶から判断するよりも、人間が候補代替品の適切性を判断し易いという直感に導かれる。 この目的のために、文脈自由シソーラスを用いて候補を生成し、文脈的適切性を決定するために人間の判断に頼る。 これまでの最大のベンチマークと比べて、剣のベンチマークは、同じレベルの品質で1語あたり4.1倍の代替品があり、その代替品は同じ数の代替品に対して(人間の判断に基づいて)1.5倍適している。

関連論文リスト

• Learning to Substitute Words with Model-based Score Ranking [17.46170699645023]
  スマートワード置換は、単語選択を改善することによって文質を向上させることを目的としている。 現在のベンチマークは、人間のラベル付きデータに依存している。 文質の定量化にはモデルベーススコア(BARTScore)を用いる。
  論文  参考訳（メタデータ） (2025-02-09T15:26:32Z)
• Lexical Substitution is not Synonym Substitution: On the Importance of Producing Contextually Relevant Word Substitutes [5.065947993017158]
  モデルに送信された文脈情報を強化するために,原文を利用した単純な拡張手法であるConCatを導入する。 本研究は,文の類似度とタスクパフォーマンスを指標とした定量的評価を含む。 また,従来手法とは対照的に,利用者が提案した代替品を優先することを示す定性的な人間分析を行った。
  論文  参考訳（メタデータ） (2025-02-06T16:05:50Z)
• ProLex: A Benchmark for Language Proficiency-oriented Lexical Substitution [16.204890291443252]
  我々は,新しいタスク,言語習熟度指向の語彙置換を提案する。 また、適切な代替品を生成するシステムの能力を評価するために設計された新しいベンチマークであるProLexを紹介する。 我々の最良モデルであるLlama2-13Bモデルは、タスク固有の合成データを微調整し、平均3.2%のFスコアでChatGPTを上回ります。
  論文  参考訳（メタデータ） (2024-01-21T00:58:31Z)
• SpellMapper: A non-autoregressive neural spellchecker for ASR customization with candidate retrieval based on n-gram mappings [76.87664008338317]
  文脈スペル補正モデルは、音声認識を改善するために浅い融合に代わるものである。 ミススペルn-gramマッピングに基づく候補探索のための新しいアルゴリズムを提案する。 Spoken Wikipediaの実験では、ベースラインのASRシステムに比べて21.4%のワードエラー率の改善が見られた。
  論文  参考訳（メタデータ） (2023-06-04T10:00:12Z)
• Unsupervised Lexical Substitution with Decontextualised Embeddings [48.00929769805882]
  事前学習された言語モデルを用いた語彙置換の新しい教師なし手法を提案する。 本手法は,文脈的および非文脈的単語埋め込みの類似性に基づいて代用語を検索する。 我々は、英語とイタリア語で実験を行い、我々の手法が強いベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-09-17T03:51:47Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• Semantic-Preserving Adversarial Text Attacks [85.32186121859321]
  深層モデルの脆弱性を調べるために, Bigram と Unigram を用いた適応的セマンティック保存最適化法 (BU-SPO) を提案する。 提案手法は,既存手法と比較して最小の単語数を変更することで,攻撃成功率とセマンティックス率を最大化する。
  論文  参考訳（メタデータ） (2021-08-23T09:05:18Z)
• LexSubCon: Integrating Knowledge from Lexical Resources into Contextual Embeddings for Lexical Substitution [76.615287796753]
  本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。 これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。 我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-11T21:25:56Z)
• Human-Paraphrased References Improve Neural Machine Translation [33.86920777067357]
  パラフレーズ参照へのチューニングは、人間の判断によりかなり良いシステムを生み出すことを示す。 我々の研究は、パラフレーズ参照が人間の判断と相関する指標となることを確認する。
  論文  参考訳（メタデータ） (2020-10-20T13:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。