論文の概要: An Annotated Dataset of Errors in Premodern Greek and Baselines for Detecting Them

• arxiv url: http://arxiv.org/abs/2410.11071v1
• Date: Mon, 14 Oct 2024 20:30:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:52.929950
• Title: An Annotated Dataset of Errors in Premodern Greek and Baselines for Detecting Them
• Title（参考訳）: 古代ギリシア語と原文における誤りの注釈付きデータセットによる検出
• Authors: Creston Brooks, Johannes Haubold, Charlie Cowen-Breen, Jay White, Desmond DeVaul, Frederick Riemenschneider, Karthik Narasimhan, Barbara Graziosi,
• Abstract要約: 我々は、前近代ギリシア語で実際の誤りの最初のデータセットを紹介した。 このデータセットを作成するために、BERT条件から派生したメトリクスを使用して、エラーを含む可能性が高い単語1000語をサンプリングする。
• 参考スコア（独自算出の注目度）: 25.238651933622773
• License:
• Abstract: As premodern texts are passed down over centuries, errors inevitably accrue. These errors can be challenging to identify, as some have survived undetected for so long precisely because they are so elusive. While prior work has evaluated error detection methods on artificially-generated errors, we introduce the first dataset of real errors in premodern Greek, enabling the evaluation of error detection methods on errors that genuinely accumulated at some stage in the centuries-long copying process. To create this dataset, we use metrics derived from BERT conditionals to sample 1,000 words more likely to contain errors, which are then annotated and labeled by a domain expert as errors or not. We then propose and evaluate new error detection methods and find that our discriminator-based detector outperforms all other methods, improving the true positive rate for classifying real errors by 5%. We additionally observe that scribal errors are more difficult to detect than print or digitization errors. Our dataset enables the evaluation of error detection methods on real errors in premodern texts for the first time, providing a benchmark for developing more effective error detection algorithms to assist scholars in restoring premodern works.
• Abstract（参考訳）: 何世紀にもわたって前近代のテキストが伝わったため、間違いは必然的に発生した。 これらの誤りを識別することは困難であり、発見されていないものも少なくない。 先行研究では, 人工的に生成した誤りに対する誤り検出手法の評価を行っているが, 従来のギリシャ語では, 数世紀にわたる複写過程において, 真に蓄積された誤りに対する誤り検出手法の評価が可能となった。 このデータセットを作成するために、BERT条件から派生したメトリクスを使用して、エラーを含む可能性が高い単語1000語をサンプリングします。 そこで我々は,新しい誤り検出手法を提案し評価し,判別器に基づく検出器が他のすべての手法より優れており,実誤りの正の正の率を5%向上させることを確認した。 さらに、印刷やデジタル化の誤りよりも、頭蓋骨の誤りを検出することが困難であることも観察した。 本データセットは,前近代テキストにおける実際の誤りに対する誤り検出手法を初めて評価し,より効率的な誤り検出アルゴリズムを開発するためのベンチマークを提供する。

関連論文リスト

• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• A Coin Has Two Sides: A Novel Detector-Corrector Framework for Chinese Spelling Correction [79.52464132360618]
  中国語のSpelling Correction(CSC)は、自然言語処理(NLP)の基本課題である。 本稿では,エラー検出・相関器の枠組みに基づく新しい手法を提案する。 我々の検出器は2つのエラー検出結果を得るように設計されており、それぞれ高精度とリコールが特徴である。
  論文  参考訳（メタデータ） (2024-09-06T09:26:45Z)
• A Comprehensive Approach to Misspelling Correction with BERT and Levenshtein Distance [1.7000578646860536]
  最も多い書き込みエラーのうち、スペルミスは、様々な要因によって頻繁に発生する。 本研究の目的は,ニューラルネットワークを用いてテキスト中の多様な綴り誤りを特定し,修正することである。
  論文  参考訳（メタデータ） (2024-07-24T16:07:11Z)
• Improving Label Error Detection and Elimination with Uncertainty Quantification [5.184615738004059]
  我々は不確実な量子化に基づくラベル誤り検出(UQ-LED)のための新しいモデル認識アルゴリズムを開発した。 我々のUQ-LEDアルゴリズムは、ラベルエラーの同定において最先端の信頼性学習より優れている。 本稿では,現実的なクラス依存ラベルエラーを合成的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-15T15:17:52Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• SoftCorrect: Error Correction with Soft Detection for Automatic Speech Recognition [116.31926128970585]
  我々は,明示的かつ暗黙的な誤り検出の限界を回避するため,ソフトエラー検出機構を備えたSoftCorrectを提案する。 暗黙的な誤り検出とCTC損失と比較すると、SoftCorrectはどの単語が誤りであるかを明示的な信号を提供する。 AISHELL-1とAidatatangデータセットの実験では、SoftCorrectはそれぞれ26.1%と9.4%のCER削減を達成した。
  論文  参考訳（メタデータ） (2022-12-02T09:11:32Z)
• Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
  我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
  論文  参考訳（メタデータ） (2022-06-05T22:31:45Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)
• Correcting the Autocorrect: Context-Aware Typographical Error Correction via Training Data Augmentation [38.10429793534442]
  まず、スペルエラー統計を計算するために、注釈付きデータの小さなセットを描画する。 その後、エラーをはるかに大きなコーパスに導入するために、これらが呼び出される。 私たちは、英語のエラー検出と修正データセットのセットを作成するためにそれを使用します。
  論文  参考訳（メタデータ） (2020-05-03T18:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。