論文の概要: Swords: A Benchmark for Lexical Substitution with Improved Data Coverage and Quality

• arxiv url: http://arxiv.org/abs/2106.04102v1
• Date: Tue, 8 Jun 2021 04:58:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 06:38:47.974505
• Title: Swords: A Benchmark for Lexical Substitution with Improved Data Coverage and Quality
• Title（参考訳）: Swords: データカバレッジと品質を改善した語彙置換のためのベンチマーク
• Authors: Mina Lee, Chris Donahue, Alexander Iyabor, Robin Jia, Percy Liang
• Abstract要約: 語彙置換のための新しいベンチマークを新たにリリースし、コンテキスト内でターゲット単語の適切な代用語を見つける。 我々は、文脈のないシソーラスを用いて候補を生成し、文脈的適切性を決定するために人間の判断に依存する。 これまでの最大のベンチマークと比較すると、我々のSwordsベンチマークは、同じ品質の単語に対して、ターゲットワード当たり4.1倍の代替品を持ち、その代替品は、同じ数の代用品に対して1.5倍(人間の判断に基づいて)適している。
• 参考スコア（独自算出の注目度）: 126.55416118361495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We release a new benchmark for lexical substitution, the task of finding appropriate substitutes for a target word in a context. To assist humans with writing, lexical substitution systems can suggest words that humans cannot easily think of. However, existing benchmarks depend on human recall as the only source of data, and therefore lack coverage of the substitutes that would be most helpful to humans. Furthermore, annotators often provide substitutes of low quality, which are not actually appropriate in the given context. We collect higher-coverage and higher-quality data by framing lexical substitution as a classification problem, guided by the intuition that it is easier for humans to judge the appropriateness of candidate substitutes than conjure them from memory. To this end, we use a context-free thesaurus to produce candidates and rely on human judgement to determine contextual appropriateness. Compared to the previous largest benchmark, our Swords benchmark has 4.1x more substitutes per target word for the same level of quality, and its substitutes are 1.5x more appropriate (based on human judgement) for the same number of substitutes.
• Abstract（参考訳）: 語彙置換のための新しいベンチマークを新たにリリースし、コンテキスト内でターゲット単語の適切な代用語を見つける。 人間が書くのを助けるために、語彙置換システムは、人間が簡単に考えられない単語を提案できる。 しかし、既存のベンチマークは、唯一のデータソースとして人間のリコールに依存するため、ヒトにとって最も役立つ代替品のカバレッジが欠落している。 さらにアノテータは、与えられた文脈では実際には適切でない低品質の代用品を提供することが多い。 語彙置換を分類問題とすることで高いカバレッジと高品質のデータを収集し、記憶から判断するよりも、人間が候補代替品の適切性を判断し易いという直感に導かれる。 この目的のために、文脈自由シソーラスを用いて候補を生成し、文脈的適切性を決定するために人間の判断に頼る。 これまでの最大のベンチマークと比べて、剣のベンチマークは、同じレベルの品質で1語あたり4.1倍の代替品があり、その代替品は同じ数の代替品に対して(人間の判断に基づいて)1.5倍適している。

関連論文リスト

• ProLex: A Benchmark for Language Proficiency-oriented Lexical Substitution [16.204890291443252]
  我々は,新しいタスク,言語習熟度指向の語彙置換を提案する。 また、適切な代替品を生成するシステムの能力を評価するために設計された新しいベンチマークであるProLexを紹介する。 我々の最良モデルであるLlama2-13Bモデルは、タスク固有の合成データを微調整し、平均3.2%のFスコアでChatGPTを上回ります。
  論文  参考訳（メタデータ） (2024-01-21T00:58:31Z)
• Quality and Quantity of Machine Translation References for Automatic Metrics [4.824118883700288]
  高品質な参照は、セグメントレベルの人間とのより良い計量相関をもたらす。 異なる品質のベンダーからの参照は混在し、メートル法の成功を改善することができる。 これらの発見は、特定の予算の下で参照を作成する必要がある場合、共有タスクの評価者によって利用することができる。
  論文  参考訳（メタデータ） (2024-01-02T16:51:17Z)
• SpellMapper: A non-autoregressive neural spellchecker for ASR customization with candidate retrieval based on n-gram mappings [76.87664008338317]
  文脈スペル補正モデルは、音声認識を改善するために浅い融合に代わるものである。 ミススペルn-gramマッピングに基づく候補探索のための新しいアルゴリズムを提案する。 Spoken Wikipediaの実験では、ベースラインのASRシステムに比べて21.4%のワードエラー率の改善が見られた。
  論文  参考訳（メタデータ） (2023-06-04T10:00:12Z)
• Lex2Sent: A bagging approach to unsupervised sentiment analysis [0.628122931748758]
  本稿では,テキストの分類方法として,Lex2Sentを提案する。 テキストを分類するために、文書埋め込みと適切な辞書の埋め込みの距離を決定するために埋め込みモデルを訓練する。 本稿では,このモデルがレキシカよりも優れており,バイナリ感情分析のタスクにおいて,高パフォーマンスな数発の微調整手法の基盤となることを示す。
  論文  参考訳（メタデータ） (2022-09-26T20:49:18Z)
• Unsupervised Lexical Substitution with Decontextualised Embeddings [48.00929769805882]
  事前学習された言語モデルを用いた語彙置換の新しい教師なし手法を提案する。 本手法は,文脈的および非文脈的単語埋め込みの類似性に基づいて代用語を検索する。 我々は、英語とイタリア語で実験を行い、我々の手法が強いベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-09-17T03:51:47Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• Semantic-Preserving Adversarial Text Attacks [85.32186121859321]
  深層モデルの脆弱性を調べるために, Bigram と Unigram を用いた適応的セマンティック保存最適化法 (BU-SPO) を提案する。 提案手法は,既存手法と比較して最小の単語数を変更することで,攻撃成功率とセマンティックス率を最大化する。
  論文  参考訳（メタデータ） (2021-08-23T09:05:18Z)
• LexSubCon: Integrating Knowledge from Lexical Resources into Contextual Embeddings for Lexical Substitution [76.615287796753]
  本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。 これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。 我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-11T21:25:56Z)
• Human-Paraphrased References Improve Neural Machine Translation [33.86920777067357]
  パラフレーズ参照へのチューニングは、人間の判断によりかなり良いシステムを生み出すことを示す。 我々の研究は、パラフレーズ参照が人間の判断と相関する指標となることを確認する。
  論文  参考訳（メタデータ） (2020-10-20T13:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。