Fugu-MT 論文翻訳(概要): A Character-Level Neural Approach to Sinhala Sandhi Splitting

論文の概要: A Character-Level Neural Approach to Sinhala Sandhi Splitting

arxiv url: http://arxiv.org/abs/2609.36131v1
Date: Mon, 28 Sep 2026 19:04:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-30 21:28:46.964163
Title: A Character-Level Neural Approach to Sinhala Sandhi Splitting
Title（参考訳）: Sinhala Sandhi 分割に対する文字レベルニューラルアプローチ
Abstract要約: SandhiLexに基づく文字レベルのシーケンス・ツー・シーケンスの研究について述べる。近似型およびより複雑な語彙化,派生型および語源的サンディに対する繰り返しエンコーダデコーダモデルの評価を行った。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Sinhala Sandhi splitting recovers the constituent words or morphemes hidden inside a phonologically merged surface form. The task is important for Sinhala NLP because Sandhi obscures lexical boundaries, but no prior published work has established a neural benchmark for Sinhala Sandhi splitting. We present a character-level sequence-to-sequence study based on SandhiLex, using native Sinhala Unicode input and evaluating recurrent encoder-decoder models for affixational and more complex lexicalized, derivational, and etymological Sandhi. The central challenge is the hard subset lexicalized, derivational, and etymological Sandhi, where our best model, a bidirectional LSTM encoder with a unidirectional LSTM decoder, reaches only 68.40\% exact-match accuracy (82.08\% character-level accuracy), well below the 94.00\% achieved on the more regular affixational subset. Ablations show that bidirectional encoding is the largest contributor to performance, while native Sinhala script improves exact match accuracy over romanized input. Qualitative analysis indicates that many errors are near misses involving boundary adjacent characters or plausible but incorrect phonological substitutions. These results establish an empirical baseline for Sinhala Sandhi splitting and identify data scale, Sandhi type conditioning, and attention-based decoding as the main directions for future work.
Abstract（参考訳）: Sinhala Sandhi 分割は、音韻的に融合した表面形態の中に隠された構成語や形態素を復元する。この課題はSinhala NLPにとって重要である、なぜならSandhiは語彙境界を曖昧にしているが、Sinhala Sandhi分割のためのニューラルベンチマークは発表されていないからである。そこで本研究では,Sinhala Unicode入力を用いたSandhiLexに基づく文字レベルのシーケンス・ツー・シーケンスの研究を行い,近似型およびより複雑な語彙化,派生型および語源的サンディに対する繰り返しエンコーダ・デコーダモデルの評価を行った。最良モデルである一方向LSTMデコーダを持つ双方向LSTMエンコーダは68.40 %の精度(文字レベルの精度82.08 %)にしか達せず、より規則的な接尾辞部分集合上で達成された94.00 %以下である。アブレーションは、双方向符号化がパフォーマンスの最大の貢献者であることを示し、ネイティブのSinhalaスクリプトは、ローマン化された入力よりも正確なマッチング精度を向上させる。定性的分析は、多くの誤りが、境界の隣接した文字や、プラウシブルだが誤った音韻的置換を含むほぼ誤りであることを示している。これらの結果から,Sinhala Sandhiの分割とデータスケール,Sandhi型条件付け,アテンションベースデコーディングの実証的ベースラインが確立された。

関連論文リスト

The Dialect Tax: Dialectal Biases Persist throughout the Language Modeling Pipeline [0.0]
我々の研究は、自然言語処理パイプラインにまたがるこの「方言税」を辿る。まず、LMが標準アメリカ英語(SAE)と方言のテキストを意味論的に等価と認識していることを確認した。モデルファミリや世代にわたって、現代のLMは、トークン化、事前訓練、ポストトレーニング、推論の間、方言のテキストを不平等にエンコードしている。
論文参考訳（メタデータ） (2026-08-24T22:46:04Z)
End-to-End Intracortical Speech Decoding from Neural Activity [0.8209843760716958]
そこで本研究では,ALSの参加者の皮質内記録を直接トレーニングした,エンドツーエンドのコンフォーマーベースのニューラルデコーダを提案する。外部言語モデルがなければ、システムは保持されたバリデーションデータに対して23.80%の文字誤り率(CER)を達成する。
論文参考訳（メタデータ） (2026-05-23T00:39:59Z)
Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。右列桁のグルーピングは、大数の算術を+33%向上させる。
論文参考訳（メタデータ） (2025-06-23T18:02:26Z)
Idiosyncrasies in Large Language Models [54.26923012617675]
大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
論文参考訳（メタデータ） (2025-02-17T18:59:02Z)
Boosting Semi-Supervised Scene Text Recognition via Viewing and Summarizing [71.29488677105127]
既存のシーンテキスト認識(STR)手法は、特に芸術的で歪んだ文字に対して、挑戦的なテキストを認識するのに苦労している。人的コストを伴わずに、合成データと実際のラベルなしデータを活用して、対照的な学習ベースのSTRフレームワークを提案する。本手法は,共通ベンチマークとUnion14M-Benchmarkで平均精度94.7%,70.9%のSOTA性能を実現する。
論文参考訳（メタデータ） (2024-11-23T15:24:47Z)
LEVOS: Leveraging Vocabulary Overlap with Sanskrit to Generate Technical Lexicons in Indian Languages [39.08623113730563]
技術的用語の言語情報翻訳のためのサンスクリットに基づくセグメントの新規な利用法を提案する。提案手法では,意味のあるサブワード単位の識別に文字レベルセグメンテーションを用いる。我々はサンスクリットから派生したセグメントを用いた技術用語翻訳のための2つの実験的な設定における一貫した改善を観察する。
論文参考訳（メタデータ） (2024-07-08T18:50:13Z)
HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文参考訳（メタデータ） (2023-09-27T14:44:10Z)
TransLIST: A Transformer-Based Linguistically Informed Sanskrit Tokenizer [11.608920658638976]
サンスクリットワードアルゴリズム(SWS)は、デジタル化されたテキストを利用できるようにし、下流のタスクをデプロイするのに不可欠である。我々はTransLIST(Transformer based Linguistically Informed Sanskrit Tokenizer)を提案する。 TransLISTは、SWS特有のサンディー現象を考慮した潜在単語情報と共に文字入力を符号化する。
論文参考訳（メタデータ） (2022-10-21T06:15:40Z)
Neural Compound-Word (Sandhi) Generation and Splitting in Sanskrit Language [0.8258451067861933]
本論文では,サンスクリット語における単語合成の過程と分割に対するニューラルネットワークに基づくアプローチについて述べる。本稿では,近代的な深層学習手法を用いて,問題をシーケンス予測タスクとして定式化する方法を提案する。最初の完全データ駆動技術である我々のモデルは、複数の標準データセット上の既存の手法よりも精度が良いことを実証する。
論文参考訳（メタデータ） (2020-10-24T18:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。