論文の概要: Machine Translation Evaluation Benchmark for Wu Chinese: Workflow and Analysis

• arxiv url: http://arxiv.org/abs/2410.10278v1
• Date: Mon, 14 Oct 2024 08:30:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 22:34:36.432266
• Title: Machine Translation Evaluation Benchmark for Wu Chinese: Workflow and Analysis
• Title（参考訳）: Wu Chineseの機械翻訳評価ベンチマーク:ワークフローと分析
• Authors: Hongjian Yu, Yiming Shi, Zherui Zhou, Christopher Haberland,
• Abstract要約: 現代武漢機械翻訳モデルの評価ベンチマークとしてFLORES+データセットを導入する。 我々は、Wu Chineseをテキスト的に低リソース言語として認識し、その機械翻訳モデルの課題に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce a FLORES+ dataset as an evaluation benchmark for modern Wu Chinese machine translation models and showcase its compatibility with existing Wu data. Wu Chinese is mutually unintelligible with other Sinitic languages such as Mandarin and Yue (Cantonese), but uses a set of Hanzi (Chinese characters) that profoundly overlaps with others. The population of Wu speakers is the second largest among languages in China, but the language has been suffering from significant drop in usage especially among the younger generations. We identify Wu Chinese as a textually low-resource language and address challenges for its machine translation models. Our contributions include: (1) an open-source, manually translated dataset, (2) full documentations on the process of dataset creation and validation experiments, (3) preliminary tools for Wu Chinese normalization and segmentation, and (4) benefits and limitations of our dataset, as well as implications to other low-resource languages.
• Abstract（参考訳）: 現代中国の機械翻訳モデルの評価ベンチマークとしてFLORES+データセットを導入し,既存のWuデータとの互換性を示す。 中国語は、マンダリン語やユエ語(カントネセ語)など他の新統諸語と相互に理解できないが、漢字のセットは他と大きく重なる。 ヴ語話者の人口は中国で2番目に多い言語であるが、特に若い世代では使用量が大幅に減少している。 我々は、Wu Chineseをテキスト的に低リソース言語として認識し、その機械翻訳モデルの課題に対処する。 コントリビューションには、(1)オープンソースで手動で翻訳されたデータセット、(2)データセット作成と検証実験のプロセスに関する完全なドキュメンテーション、(3)中国語の正規化とセグメンテーションのための予備ツール、(4)データセットの利点と制限、そして他の低リソース言語への影響が含まれる。

関連論文リスト

• When Does Classical Chinese Help? Quantifying Cross-Lingual Transfer in Hanja and Kanbun [48.07219104902607]
  古典中国語から漢語・漢文への言語間移動可能性の仮定を疑問視する。 実験の結果,漢文で書かれた古代朝鮮語文書の言語モデル性能に対する古典中国語データセットの影響は最小限であった。
  論文  参考訳（メタデータ） (2024-11-07T15:59:54Z)
• CVLUE: A New Benchmark Dataset for Chinese Vision-Language Understanding Evaluation [49.41531871253317]
  我々は、新しい中国語ビジョン言語理解評価ベンチマークデータセットを提案する。 オブジェクトカテゴリとイメージの選択は、完全に中国のネイティブスピーカーによって駆動される。 中国文化関連VLデータセットの微調整により,VLMの中国文化理解が効果的に向上することが確認された。
  論文  参考訳（メタデータ） (2024-07-01T08:35:37Z)
• Discourse Representation Structure Parsing for Chinese [8.846860617823005]
  本研究では,中国語意味表現のためのラベル付きデータがない場合の中国語意味解析の実現可能性について検討する。 そこで本研究では,中国語意味解析のためのテストスイートを提案し,解析性能の詳細な評価を行う。 実験の結果,中国語の意味解析の難易度は,主に副詞が原因であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-16T09:47:45Z)
• READIN: A Chinese Multi-Task Benchmark with Realistic and Diverse Input Noises [87.70001456418504]
  我々は、Realistic and Diverse Input Noisesを用いた中国のマルチタスクベンチマークREADINを構築した。 READINには4つの多様なタスクとアノテータが含まれており、Pinyin入力と音声入力という2つの一般的な中国語入力方式で元のテストデータを再入力するよう要求する。 我々は、強化された事前訓練された言語モデルと、堅牢なトレーニング手法を用いて実験を行い、これらのモデルがREADINに顕著な性能低下を被ることがしばしば見いだされた。
  論文  参考訳（メタデータ） (2023-02-14T20:14:39Z)
• COLD: A Benchmark for Chinese Offensive Language Detection [54.60909500459201]
  COLDatasetは、37kの注釈付き文を持つ中国の攻撃的言語データセットである。 また、人気のある中国語モデルの出力攻撃性を研究するために、textscCOLDetectorを提案する。 我々の資源と分析は、中国のオンラインコミュニティを解毒し、生成言語モデルの安全性を評価することを目的としている。
  論文  参考訳（メタデータ） (2022-01-16T11:47:23Z)
• Benchmarking Chinese Text Recognition: Datasets, Baselines, and an Empirical Study [25.609450020149637]
  既存のテキスト認識法は主に英語のテキスト用であるが、中国語のテキストの重要な役割は無視されている。 公開のコンペ、プロジェクト、論文から中国語のテキストデータセットを手作業で収集し、それらをシーン、Web、ドキュメント、手書きデータセットの4つのカテゴリに分けます。 実験結果を解析することにより、中国語のシナリオにおいて、英語のテキストを認識するための最先端のベースラインがうまく機能しないことを驚くほど観察する。
  論文  参考訳（メタデータ） (2021-12-30T15:30:52Z)
• ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information [32.70080326854314]
  我々は,漢字のグリフとピニイン情報を事前学習に組み込んだ ChineseBERT を提案する。 提案した ChineseBERT モデルは,トレーニングステップの少ないベースラインモデルよりも大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2021-06-30T13:06:00Z)
• Investigating Transfer Learning in Multilingual Pre-trained Language Models through Chinese Natural Language Inference [11.096793445651313]
  中国語と英語の自然言語推論(NLI)におけるXLM-Rの言語間移動能力について検討する。 言語移動をより深く理解するために、中国語の課題と敵対課題の4つのカテゴリを作成しました。 英語のNLIで訓練された言語間のモデルが、中国語のタスク間でうまく伝達されていることが分かりました。
  論文  参考訳（メタデータ） (2021-06-07T22:00:18Z)
• SHUOWEN-JIEZI: Linguistically Informed Tokenizers For Chinese Language Model Pretraining [48.880840711568425]
  事前学習された言語モデルの中国語トークン化に対する3つの要因の影響について検討する。 本稿では,発音に基づくトークン化システムであるSHUOWEN (Talk Word) と,グリフに基づくトークン化システムであるJIEZI (Solve Character) の3種類のトークン化手法を提案する。 SHUOWENとJIEZIは、一般的に従来のシングル文字トークンよりも優れた性能を持つ。
  論文  参考訳（メタデータ） (2021-06-01T11:20:02Z)
• LET: Linguistic Knowledge Enhanced Graph Transformer for Chinese Short Text Matching [29.318730227080675]
  外部知識基盤としてHowNetを導入し,単語のあいまいさに対処する言語知識拡張グラフ変換器(LET)を提案する。 2つの中国語データセットによる実験結果から、我々のモデルは様々な典型的なテキストマッチング手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-02-25T04:01:51Z)
• N-LTP: An Open-source Neural Language Technology Platform for Chinese [68.58732970171747]
  textttN-は、中国の6つの基本的なNLPタスクをサポートする、オープンソースのニューラルネットワークテクノロジプラットフォームである。 textttN-は、中国のタスク間で共有知識をキャプチャする利点がある共有事前学習モデルを使用することで、マルチタスクフレームワークを採用する。
  論文  参考訳（メタデータ） (2020-09-24T11:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。