論文の概要: Dataset Geography: Mapping Language Data to Language Users

• arxiv url: http://arxiv.org/abs/2112.03497v1
• Date: Tue, 7 Dec 2021 05:13:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 14:26:08.995585
• Title: Dataset Geography: Mapping Language Data to Language Users
• Title（参考訳）: Dataset Geography: 言語データを言語ユーザにマッピングする
• Authors: Fahim Faisal, Yinkai Wang, Antonios Anastasopoulos
• Abstract要約: 本研究では,NLPデータセットが言語話者の期待するニーズにどの程度一致しているかを定量化することを目的として,NLPデータセットの地理的代表性について検討する。 その際、エンティティ認識とリンクシステムを使用し、言語間の一貫性について重要な観察を行う。 最後に,観測された分布データセットを説明するための地理的・経済的要因について検討する。
• 参考スコア（独自算出の注目度）: 17.30955185832338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As language technologies become more ubiquitous, there are increasing efforts towards expanding the language diversity and coverage of natural language processing (NLP) systems. Arguably, the most important factor influencing the quality of modern NLP systems is data availability. In this work, we study the geographical representativeness of NLP datasets, aiming to quantify if and by how much do NLP datasets match the expected needs of the language speakers. In doing so, we use entity recognition and linking systems, also making important observations about their cross-lingual consistency and giving suggestions for more robust evaluation. Last, we explore some geographical and economic factors that may explain the observed dataset distributions. Code and data are available here: https://github.com/ffaisal93/dataset_geography. Additional visualizations are available here: https://nlp.cs.gmu.edu/project/datasetmaps/.
• Abstract（参考訳）: 言語技術がユビキタス化するにつれて、自然言語処理(NLP)システムの言語多様性とカバー範囲の拡大への取り組みが高まっている。 おそらく、現代のNLPシステムの品質に影響を与える最も重要な要因は、データ可用性である。 本研究では,NLPデータセットの地理的代表性について検討し,NLPデータセットが言語話者の期待するニーズにどの程度一致しているかを定量化する。 その際、エンティティ認識とリンクシステムを使用し、言語間の一貫性について重要な観察を行い、より堅牢な評価を提案する。 最後に,観測されたデータセット分布を説明する地理的・経済的要因を考察する。 コードとデータはここで入手できる。 https://github.com/ffaisal93/dataset_geography。 さらなる視覚化は、https://nlp.cs.gmu.edu/project/datasetmaps/.comで入手できる。

関連論文リスト

• Into the Unknown: Generating Geospatial Descriptions for New Environments [18.736071151303726]
  レンデブー課題は、同心空間関係の推論を必要とする。 座標と組み合わせたオープンソース記述(例えばウィキペディア)を使用することで、トレーニングデータを提供するが、空間指向の限られたテキストに悩まされる。 新しい環境のための高品質な合成データを生成するための大規模拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T14:56:21Z)
• Low-Resource Machine Translation through the Lens of Personalized Federated Learning [26.436144338377755]
  異種データを用いた自然言語処理に適用可能な新しい手法を提案する。 大規模多言語機械翻訳共有タスクのデータセットを用いて,低リソース機械翻訳タスク上で評価を行った。 MeritFedは、その効果に加えて、トレーニングに使用する各言語の影響を追跡するために適用できるため、高度に解釈可能である。
  論文  参考訳（メタデータ） (2024-06-18T12:50:00Z)
• Constructing and Expanding Low-Resource and Underrepresented Parallel Datasets for Indonesian Local Languages [0.0]
  インドネシアの5つの言語を特徴とする多言語並列コーパスであるBhinneka Korpusを紹介する。 我々のゴールは、これらの資源へのアクセスと利用を強化し、国内へのリーチを広げることです。
  論文  参考訳（メタデータ） (2024-04-01T09:24:06Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Improving Domain-Specific Retrieval by NLI Fine-Tuning [64.79760042717822]
  本稿では、自然言語推論(NLI)データの微調整の可能性を調べ、情報検索とランキングを改善する。 コントラスト損失とNLIデータを利用した教師あり手法により細調整された単言語文エンコーダと多言語文エンコーダを併用する。 この結果から,NLIの微調整によりタスクおよび言語間のモデルの性能が向上し,単言語モデルと多言語モデルが改良される可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-06T12:40:58Z)
• Beyond Counting Datasets: A Survey of Multilingual Dataset Construction and Necessary Resources [38.814057529254846]
  公開されている156個のNLPデータセットの特徴について検討する。 言語に習熟したNLP研究者と集団労働者を対象に調査を行った。 メカニカルトルコプラットフォーム上で高品質な多言語データを収集するための戦略を同定する。
  論文  参考訳（メタデータ） (2022-11-28T18:54:33Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。