論文の概要: Validating and Exploring Large Geographic Corpora

• arxiv url: http://arxiv.org/abs/2403.08198v1
• Date: Wed, 13 Mar 2024 02:46:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 15:49:54.797175
• Title: Validating and Exploring Large Geographic Corpora
• Title（参考訳）: 大規模地理コーパスの検証と探索
• Authors: Jonathan Dunn
• Abstract要約: ニュージーランド英語のような特定の言語国を表すサブコーパスの品質向上に3つの手法が用いられている。 評価の結果, サブコーパスの妥当性は清掃段階ごとに改善されているが, この改善は言語や人口に不均一に分散していることがわかった。
• 参考スコア（独自算出の注目度）: 0.76146285961466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates the impact of corpus creation decisions on large multi-lingual geographic web corpora. Beginning with a 427 billion word corpus derived from the Common Crawl, three methods are used to improve the quality of sub-corpora representing specific language-country pairs like New Zealand English: (i) the agreement of independent language identification systems, (ii) hash-based deduplication, and (iii) location-specific outlier detection. The impact of each of these steps is then evaluated at the language level and the country level by using corpus similarity measures to compare each resulting corpus with baseline data sets. The goal is to understand the impact of upstream data cleaning decisions on downstream corpora with a specific focus on under-represented languages and populations. The evaluation shows that the validity of sub-corpora is improved with each stage of cleaning but that this improvement is unevenly distributed across languages and populations. This result shows how standard corpus creation techniques can accidentally exclude under-represented populations.
• Abstract（参考訳）: 本稿では,コーパス作成決定が大規模多言語地理Webコーパスに与える影響について検討する。 Common Crawlから派生した427億語コーパスから始まり、ニュージーランド英語のような特定の言語国を表すサブコーパスの品質を改善するために3つの方法が使用される。 一 独立言語識別制度の合意 (二)ハッシュベースの重複、及び 三 位置特定外乱検出 次に、各ステップの影響をコーパス類似度尺度を用いて言語レベルと国レベルで評価し、各コーパスをベースラインデータセットと比較する。 目標は、上流のデータクリーニングの決定が下流のコーパスに与える影響を理解することだ。 評価の結果, サブコーパスの有効性は, 清掃段階ごとに改善されているが, この改善は言語や人口に不均一に分散していることがわかった。 この結果は、標準コーパス生成技術が誤って表現されていない人口を排除できることを示す。

関連論文リスト

• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• Does Manipulating Tokenization Aid Cross-Lingual Transfer? A Study on POS Tagging for Non-Standardized Languages [18.210880703295253]
  3つの異なる家系の7つの言語で事前訓練された言語モデル(PLM)を精査する。 我々は,そのゼロショット性能を,近縁な非標準多様体で解析する。 全体として、ソース内のサブワードに分割される単語の割合とターゲットデータとの類似性が、ターゲットデータ上でのモデル性能の予測に最強であることが判明した。
  論文  参考訳（メタデータ） (2023-04-20T08:32:34Z)
• Corpus Similarity Measures Remain Robust Across Diverse Languages [0.0]
  本稿では、レジスタ予測タスクを用いて39言語にわたる周波数ベースコーパス類似度測定実験を行った。 目的は、(i)同じ言語から異なるコーパスの間の距離を定量化し、(ii)個々のコーパスの均一性を定量化することである。 その結果, コーパス類似度の測定は, 言語家族, 書記システム, 形態素の種類にまたがる妥当性を保っていることがわかった。
  論文  参考訳（メタデータ） (2022-06-09T08:17:16Z)
• EAG: Extract and Generate Multi-way Aligned Corpus for Complete Multi-lingual Neural Machine Translation [63.88541605363555]
  EAG(Extract and Generate)は,バイリンガルデータから大規模かつ高品質なマルチウェイアライメントコーパスを構築するための2段階のアプローチである。 まず、異なる言語対から、非常に類似したソースやターゲット文を持つバイリンガルな例をペアリングして、候補に整列した例を抽出する。 次に、よく訓練された生成モデルを用いて、候補から最終的な整列例を生成する。
  論文  参考訳（メタデータ） (2022-03-04T08:21:27Z)
• Monolingual and Cross-Lingual Acceptability Judgments with the Italian CoLA corpus [2.418273287232718]
  ItaCoLAコーパスは,受理性判定を伴う約1万文を含む。 また、多言語トランスフォーマーに基づくアプローチが、微調整中に2つの言語で文を使うことのメリットを評価できるかを評価することを目的とした、最初の言語間実験も提示する。
  論文  参考訳（メタデータ） (2021-09-24T16:18:53Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Global Syntactic Variation in Seven Languages: Towards a Computational Dialectology [0.0]
  我々はComputational Construction Grammarを使って、複製可能で偽造可能な構文的特徴セットを提供する。 我々は,Webcrawledおよびソーシャルメディアデータセットに基づくグローバル言語マッピングを用いて,国産品種の選択を決定する。 その結果,構築文法を用いて各言語のモデルが保持したサンプルの領域を頑健に予測できることが判明した。
  論文  参考訳（メタデータ） (2021-04-03T03:40:21Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)
• Mapping Languages: The Corpus of Global Language Use [0.0]
  本稿では,このコーパスがデータ駆動型言語マッピングにどのように使用できるかに着目し,グローバル言語を用いたWebベースのコーパスについて述べる。 コーパスには148の言語と158の国を表す423億語が含まれている。
  論文  参考訳（メタデータ） (2020-04-02T03:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。