論文の概要: Contextual Tamil Spelling and Grammar Correction Using Progressively Fine-Tuned Sequence-to-Sequence Transformers
- arxiv url: http://arxiv.org/abs/2609.03273v1
- Date: Thu, 03 Sep 2026 02:02:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:38.893554
- Title: Contextual Tamil Spelling and Grammar Correction Using Progressively Fine-Tuned Sequence-to-Sequence Transformers
- Title（参考訳）: 進行的微調整列列列変換器を用いた文脈タミルスペルと文法補正
- Abstract要約: タミル語は、豊富な言語形態、単語境界における複雑なサンディー規則、247の異なる文字を持つ、凝集性の低リソース言語である。
我々は,最大657,720個のノイズクリーンなタミル文ペアの合成コーパス上で,エンドツーエンドのシーケンス・ツー・シーケンスの定式化と微細構造mT5-小およびmBART-50を提案する。
私たちの最良のモデルであるmBART-50 v5は、69.3%の精度で、サンジーでは87.5%、主観的な合意では43.5%に達する。
- 参考スコア（独自算出の注目度）: 0.14658400971135652
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tamil spell and grammar correction is challenging because Tamil is an agglutinative low-resource language with rich verbal morphology, complex sandhi (phonetic transformation) rules at word boundaries, and a script of 247 distinct letters. Prior work targets word-level surface errors with rule-based methods, statistical n-gram models, Minimum Edit Distance, or hybrid pipelines with a transformer re-ranker; such methods cannot reliably handle contextual errors - subject-verb agreement, tense consistency, or cross-word sandhi - which require sentence-level understanding. We propose an end-to-end sequence-to-sequence formulation and fine-tune mT5-small and mBART-50 on a synthetic corpus of up to 657,720 noisy-clean Tamil sentence pairs spanning ten error categories. Both backbones follow the same four-stage progressive schedule, each stage targeting one weakness: surface noise (v2), contextual grammar (v3), single-site sandhi (v4), and multi-site cross-word sandhi (v5). On a 1,000-sentence balanced diagnostic set verified disjoint from all training data, our best model, mBART-50 v5, reaches 69.3% top-1 exact-match accuracy, with 87.5% on sandhi and 43.5% on subject-verb agreement. The schedule is what produces these gains: subject-verb accuracy rises from 1.0% to 52.5% once contextual pairs are introduced, and sandhi from 0% to 87.5% once multi-site sandhi pairs are. We additionally quantify a precision-recall trade-off this literature has not reported: sandhi recall is paid for monotonically in identity accuracy. Finally, Tamil-LLaMA-7B-Instruct reaches 19.0% zero-shot and 24.7% with three demonstrations against a 20.0% copy baseline, showing that a Tamil-adapted instruction model does not transfer to specialised sentence-level correction without task-specific supervision.
- Abstract（参考訳）: タミル語のスペルと文法の訂正は、タミル語は言語形態が豊富で、単語境界における複雑なサンジー規則と247文字の台詞を持っているため、難しい。
従来の作業では、ルールベースの手法、統計的なn-gramモデル、最小編集距離、あるいはトランスフォーマー再ランカによるハイブリッドパイプラインによる単語レベルの表面エラーを目標としていた。
最大657,720個のノイズクリーンなタミル文ペアを10種類の誤りカテゴリに分散した合成コーパス上で, エンドツーエンドのシーケンス・ツー・シーケンスの定式化とmT5-smallおよびmBART-50を提案する。
両方のバックボーンは同じ4段階のプログレッシブスケジュールに従っており、各ステージは表面ノイズ(v2)、文脈文法(v3)、シングルサイトサンディー(v4)、マルチサイトクロスワードサンディー(v5)の1つの弱点をターゲットにしている。
すべてのトレーニングデータから得られた1000文のバランスの取れた診断セットでは、最高のモデルであるmBART-50 v5が69.3%の精度で、サンディーでは87.5%、主観的な合意では43.5%に達した。
主観値の精度は、コンテキストペアが導入されると1.0%から52.5%に上昇し、マルチサイトサンディーペアが導入されたときのサンディーは0%から87.5%に上昇する。
我々はまた、この文献が報告していない精度-リコールトレードオフを定量化する:サンディーリコールは、アイデンティティの正確さで単調に支払われる。
最後に、Tamil-LLaMA-7B-Instructは20.0%のコピーベースラインに対して3つのデモを行い、19.0%のゼロショットと24.7%に達した。
関連論文リスト
- X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation [34.99298958122614]
X-AuTは、短い振る舞いプローブを通して層の組み合わせを選択するプログレッシブフレームワークである。
表現アライメント、クロススケール蒸留、スケジュールされた学生政治監督、LoRAファインタニングを通じて、プルーニングモデルを復元する。
18から16のオーディオエンコーダ層からQwen3-ASR-0.6Bを圧縮した10の公開英語ベンチマークでは、マクロ平均誤差が5.61%から5.27%に減少する。
論文 参考訳（メタデータ） (2026-09-10T11:43:17Z) - Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis [0.0]
ラテン音場正書法で書かれたクルド方言の音声認識を評価する。
原文のアラビア文字仮説は111.70%のWERと100.92%のCERであり、正確な単語一致はゼロである。
ラテン語の文字化では102.36%のWERと57.89%のCERが与えられ、参照を縮小した正書法に折り畳むと97.85%と51.20%となる。
論文 参考訳（メタデータ） (2026-08-17T10:31:30Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳（メタデータ） (2026-08-11T16:18:34Z) - Stoicheia: Character-Level Masked Diffusion for Ancient Greek Textual Restoration, Parsing, and Metrical Scansion [0.0]
ストイチェア (Stoicheia) は古代ギリシアの文字レベルのマスク付き拡散エンコーダである。
オープンでリビジョンされた380万ワードのコーパスで事前トレーニングを行い、11個のチェックポイントをリリースする。
イサカ自身のテスト分割では、同じ凍結サンプルと厳密なスコアで、Stoicheiaは両方の従来の最先端システムと比較して文字エラーを減らす。
論文 参考訳（メタデータ） (2026-08-07T14:07:43Z) - Context-Aware Distillation and Ablation for Text2DSL [78.29352305480285]
我々は、コンテクスト対応蒸留により、プロンプトのみの合成生成を置き換える。
教師の大きな言語モデルは、明示的に定義された構造化コンテキストの下で機能する。
これは、検証されたポルキットベンチコーパスを4,204対から10,073対にスケールする。
論文 参考訳（メタデータ） (2026-06-21T16:27:24Z) - Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。
我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。
解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
論文 参考訳（メタデータ） (2026-05-08T06:15:50Z) - TimeStampEval: A Simple LLM Eval and a Little Fuzzy Matching Trick to Improve Search Accuracy [0.0]
TimeStampEvalは、非バーバティムな引用を与えられた長い書き起こしから正確にミリ秒のタイムスタンプを取得するためのベンチマークである。
簡単な2段階法では,推論コストを90%以上削減しながら,検索精度を劇的に向上させる。
モチベーションのユースケースは、議会記録のクリップをAIがホストする動詞のナレーションにまとめる、自動化されたロングフォームポッドキャストである。
論文 参考訳（メタデータ） (2025-10-27T21:54:56Z) - Small Edits, Big Consequences: Telling Good from Bad Robustness in Large Language Models [0.0]
大きな言語モデル(LLM)が、ひとつの単語の誤読が安全性を損なう可能性があるような設定でコードを書くようになりました。
有用な堅牢性と有害な不感度の開始点を調査するために、50のLeetCode問題をコンパイルし、3つの最小限の急激な摂動を発生させる。
3つの「推論チューニング」バージョンを含む6つのフロンティアモデルにより、各変更プロンプトが解決される。
論文 参考訳（メタデータ） (2025-07-15T03:22:07Z) - LEVOS: Leveraging Vocabulary Overlap with Sanskrit to Generate Technical Lexicons in Indian Languages [39.08623113730563]
技術的用語の言語情報翻訳のためのサンスクリットに基づくセグメントの新規な利用法を提案する。
提案手法では,意味のあるサブワード単位の識別に文字レベルセグメンテーションを用いる。
我々はサンスクリットから派生したセグメントを用いた技術用語翻訳のための2つの実験的な設定における一貫した改善を観察する。
論文 参考訳（メタデータ） (2024-07-08T18:50:13Z) - The SIGMORPHON 2022 Shared Task on Morpheme Segmentation [39.44280269663147]
SIGMORPHON 2022は、形態素分割システムのタスクを共有し、単語を一連の形態素に分解する。
最も優れたシステムは、最先端の3つのサブワードトークン法(BPE、ULM、Morfessor2)を30.71%の絶対値で上回った。
エラー解析を容易にし,今後の研究をサポートするため,システム予測,評価スクリプト,ゴールド標準データセットをすべてリリースした。
論文 参考訳（メタデータ） (2022-06-15T15:57:22Z) - Semi-Supervised Speech Recognition via Local Prior Matching [42.311823406287864]
局所的な事前マッチングは、強い事前から知識を蒸留する半教師付き目的である。
我々は,LPMが理論的に良好であり,実装が容易であり,既存の知識蒸留技術よりも優れていることを実証した。
論文 参考訳（メタデータ） (2020-02-24T16:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。