論文の概要: "Chi nas dal soch el sent de legn" -- Auditing Text Corpora for Lombard

• arxiv url: http://arxiv.org/abs/2606.06349v1
• Date: Thu, 04 Jun 2026 16:20:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.947788
• Title: "Chi nas dal soch el sent de legn" -- Auditing Text Corpora for Lombard
• Title（参考訳）: 『Legn』の『Chi nas dal soch el sent de Legn』-ロンバルドのためのテキストコーパスの検証
• Authors: Edoardo Signoroni, Pavel Rychlý,
• Abstract要約: 世界のいくつかの言語は、NLP(Natural Language Processing)ツールに関して、いまだに過小評価されている。 これは主に、システムやモデルをトレーニング、開発、評価するための高品質なデータセットが欠如しているためである。 イタリアからのアンダーソース言語連続体であるロンバルドで利用可能なパラレルコーパスとモノリンガルコーパスを手動で検査する。
• 参考スコア（独自算出の注目度）: 0.2864713389096699
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Several of the world's languages are still under-resourced in terms of Natural Language Processing (NLP) tools. This is mostly due to the lack of high-quality datasets to train, develop, and evaluate systems and models for several tasks, such as Machine Translation (MT). We conduct a manual audit of the parallel and monolingual corpora available for Lombard, an under-resourced language continuum from Italy. Our analysis reveals that the perceived abundance of web-scraped data is an illusion, with massive datasets plagued by severe language misidentification, boilerplate text, and non-linguistic noise. Furthermore, we analyze the orthographic composition of the valid Lombard portions across web-scraped datasets, curated corpora, and benchmarks. Our findings show conflicting orthographical systems and severe representational bias across all corpora: high-quality data is heavily skewed towards Western Lombard varieties, with Eastern ones left on the margins. This underscores the need for variety-aware, community-driven data curation rather than purely quantity-driven scraping.
• Abstract（参考訳）: 世界のいくつかの言語は、NLP(Natural Language Processing)ツールに関して、いまだに過小評価されている。 これは主に、機械翻訳(MT)など、いくつかのタスクのためのシステムとモデルをトレーニング、開発、評価するための高品質なデータセットが欠如しているためである。 イタリアからのアンダーソース言語連続体であるロンバルドで利用可能なパラレルコーパスとモノリンガルコーパスを手動で検査する。 分析の結果,ウェブスクラッドデータの存在感は錯覚であり,重度の言語誤認識,ボイラプレートテキスト,非言語的ノイズに悩まされている。 さらに、Webスクラッドデータセット、キュレートコーパス、ベンチマーク間で有効なロンバルド部分の正書法構成を分析する。 その結果,全コーパスに対立する正書法と表現バイアスがみられ,高品質なデータは西ロンバルド種に強く偏り,東方種は縁に残ることがわかった。 これは、純粋に量中心のスクラップではなく、多種多様なコミュニティ主導のデータキュレーションの必要性を浮き彫りにする。

関連論文リスト

• Crowdsourcing Piedmontese to Test LLMs on Non-Standard Orthography [1.3873397698625443]
  このデータセットは、フロレス+から派生した145のイタリア・ピエモンテの並列文からなる。 このリソースを使用して、トークン化パリティ、トピック分類、機械翻訳に関するいくつかの大きな言語モデルをベンチマークする。
  論文  参考訳（メタデータ） (2026-02-16T12:02:29Z)
• Exploring NLP Benchmarks in an Extremely Low-Resource Setting [21.656551146954587]
  本稿では、絶滅危惧言語であるラディンに焦点を当て、特にヴァル・バディアの変種を対象とする。 我々は、単言語イタリア語データを翻訳することで、感情分析とマルチチョイス質問応答(MCQA)のための合成データセットを作成する。
  論文  参考訳（メタデータ） (2025-09-04T07:41:23Z)
• Trans-Zero: Self-Play Incentivizes Large Language Models for Multilingual Translation Without Parallel Data [64.4458540273004]
  言語モデル(LLM)の単言語データと本質的な多言語知識のみを活用するセルフプレイフレームワークを提案する。 実験により、このアプローチは大規模並列データに基づいて訓練されたモデルの性能と一致するだけでなく、非英語翻訳の方向でも優れていることが示された。
  論文  参考訳（メタデータ） (2025-04-20T16:20:30Z)
• Parallel Corpora for Machine Translation in Low-resource Indic Languages: A Comprehensive Review [2.377892000761193]
  本稿では、Indic言語で利用可能な並列コーパスについて概観する。 コーパス作成における課題として,言語的多様性,スクリプトのバリエーション,データ不足などについて批判的に検討する。 言語間変換学習の活用,多言語データセットの拡張,翻訳品質向上のためのマルチモーダルリソースの統合など,今後の方向性について概説する。
  論文  参考訳（メタデータ） (2025-03-02T21:22:53Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Mitigating Data Imbalance and Representation Degeneration in Multilingual Machine Translation [103.90963418039473]
  Bi-ACLは、MNMTモデルの性能を向上させるために、ターゲット側モノリンガルデータとバイリンガル辞書のみを使用するフレームワークである。 Bi-ACLは、長い尾の言語でも、高リソースの言語でも、より効果的であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:31:08Z)
• Improving Multilingual Neural Machine Translation System for Indic Languages [0.0]
  低リソース言語翻訳に関わる問題に対処する多言語ニューラルマシン翻訳(MNMT)システムを提案する。 提案モデルの実現には最先端のトランスフォーマーアーキテクチャを用いる。 大量のデータに対する試行は、従来のモデルよりもその優位性を明らかにしている。
  論文  参考訳（メタデータ） (2022-09-27T09:51:56Z)
• No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
  低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。 何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。 本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
  論文  参考訳（メタデータ） (2022-07-11T07:33:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。