論文の概要: Refining Czech GEC: Insights from a Multi-Experiment Approach
- arxiv url: http://arxiv.org/abs/2506.22402v1
- Date: Fri, 27 Jun 2025 17:21:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-30 21:12:23.308193
- Title: Refining Czech GEC: Insights from a Multi-Experiment Approach
- Title（参考訳）: チェコのGECを精錬する - マルチ実験による考察-
- Authors: Petr Pechman, Milan Straka, Jana Straková, Jakub Náplava,
- Abstract要約: 本稿では,チェコ語による文法誤り訂正(GEC)システムについて述べる。
本システムは,Transformerアーキテクチャを用いたニューラルネットワーク翻訳手法に基づいている。
主な機能はリアルタイム合成生成パイプラインで、文を動的に人工エラーで強化する。
- 参考スコア（独自算出の注目度）: 2.4792831876409718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a grammar error correction (GEC) system that achieves state of the art for the Czech language. Our system is based on a neural network translation approach with the Transformer architecture, and its key feature is its real-time synthetic generation pipeline, which dynamically augments sentences with artificial errors by introducing both language-agnostic and Czech-specific errors. We conduct a comprehensive series of experiments, investigating the Czech GEC corpora as bases for synthetic error introduction, several error generation strategies, domain balancing, tokenization granularity, model size, and data scaling during fine-tuning. Additionally, we evaluate the performance of large language models (LLMs) on Czech GEC in both end-user and expert fine-tuning scenarios. Our best-performing model is superior both in performance and computational efficiency. The source code and the trained model links are available on https://github.com/ufal/tsd2025-gec.
- Abstract（参考訳）: チェコ語で最先端の言語を実現する文法誤り訂正システム(GEC)を提案する。
我々のシステムはTransformerアーキテクチャによるニューラルネットワーク翻訳アプローチに基づいており、その重要な特徴はリアルタイム合成生成パイプラインであり、言語に依存しないエラーとチェコ固有のエラーの両方を導入することで、文を動的に人工エラーで拡張する。
我々は,チェコのGECコーパスを,合成エラー導入の基盤として,いくつかのエラー発生戦略,ドメインバランシング,トークン化粒度,モデルサイズ,微調整時のデータスケーリングなど,包括的な実験を行った。
さらに,チェコのGECにおける大規模言語モデル(LLM)の性能を,エンドユーザーと専門家の両方の微調整シナリオで評価した。
我々の最高の性能モデルは、性能と計算効率の両方において優れている。
ソースコードとトレーニングされたモデルリンクはhttps://github.com/ufal/tsd2025-gec.orgで公開されている。
関連論文リスト
- Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。
また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。
我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
論文 参考訳（メタデータ） (2024-11-05T12:26:25Z) - GECTurk: Grammatical Error Correction and Detection Dataset for Turkish [1.804922416527064]
文法的誤り検出・訂正(GEC)ツールは、母語話者と第二言語学習者にとって有用であることが証明されている。
合成データ生成は、そのようなデータの不足を克服するための一般的なプラクティスである。
トルコ語のためのフレキシブルで総合的なデータ生成パイプラインを提案し、20以上の専門家による文法と綴り規則をカバーしている。
論文 参考訳（メタデータ） (2023-09-20T14:25:44Z) - Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。
細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。
微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
論文 参考訳（メタデータ） (2023-05-28T13:19:12Z) - Improving Massively Multilingual ASR With Auxiliary CTC Objectives [40.10307386370194]
FLEURSは102言語によるオープンASRベンチマークである。
我々は,最近のコネクショニスト時間分類(CTC)研究から着想を得た手法を考察し,モデルが多数の言語を扱えるようにした。
コンバータアーキテクチャを用いた自己教師型モデルを用いた最先端システムでは,相対28.4%CERによるFLEURSの先行研究よりも改善されている。
論文 参考訳（メタデータ） (2023-02-24T18:59:51Z) - CSCD-NS: a Chinese Spelling Check Dataset for Native Speakers [62.61866477815883]
CSCD-NSは中国初のネイティブ話者向けスペルチェックデータセットである。
CSCD-NSはスケールが10倍大きく、誤差分布が異なる。
本稿では,入力過程をシミュレーションする新しい手法を提案する。
論文 参考訳（メタデータ） (2022-11-16T09:25:42Z) - A Unified Strategy for Multilingual Grammatical Error Correction with
Pre-trained Cross-Lingual Language Model [100.67378875773495]
本稿では,多言語文法的誤り訂正のための汎用的かつ言語に依存しない戦略を提案する。
我々の手法は言語固有の操作を使わずに多様な並列GECデータを生成する。
NLPCC 2018 Task 2のデータセット(中国語)で最先端の結果を達成し、Falko-Merlin(ドイツ語)とRULEC-GEC(ロシア語)の競合性能を得る。
論文 参考訳（メタデータ） (2022-01-26T02:10:32Z) - From Good to Best: Two-Stage Training for Cross-lingual Machine Reading
Comprehension [51.953428342923885]
モデル性能を向上させるための2段階のアプローチを開発する。
我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。
第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
論文 参考訳（メタデータ） (2021-12-09T07:31:15Z) - Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。
この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。
提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
論文 参考訳（メタデータ） (2021-09-27T15:04:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。