論文の概要: LEVOS: Leveraging Vocabulary Overlap with Sanskrit to Generate Technical Lexicons in Indian Languages

• arxiv url: http://arxiv.org/abs/2407.06331v2
• Date: Tue, 24 Jun 2025 10:06:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.24097
• Title: LEVOS: Leveraging Vocabulary Overlap with Sanskrit to Generate Technical Lexicons in Indian Languages
• Title（参考訳）: LEVOS:サンスクリットと重複する語彙を活用してインド語の技術的語彙を生成する
• Authors: Karthika N J, Krishnakant Bhatt, Ganesh Ramakrishnan, Preethi Jyothi,
• Abstract要約: 技術的用語の言語情報翻訳のためのサンスクリットに基づくセグメントの新規な利用法を提案する。 提案手法では,意味のあるサブワード単位の識別に文字レベルセグメンテーションを用いる。 我々はサンスクリットから派生したセグメントを用いた技術用語翻訳のための2つの実験的な設定における一貫した改善を観察する。
• 参考スコア（独自算出の注目度）: 39.08623113730563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Translating technical terms into lexically similar, low-resource Indian languages remains a challenge due to limited parallel data and the complexity of linguistic structures. We propose a novel use-case of Sanskrit-based segments for linguistically informed translation of such terms, leveraging subword-level similarity and morphological alignment across related languages. Our approach uses character-level segmentation to identify meaningful subword units, facilitating more accurate and context-aware translation. To enable this, we utilize a Character-level Transformer model for Sanskrit Word Segmentation (CharSS), which addresses the complexities of sandhi and morpho-phonemic changes during segmentation. We observe consistent improvements in two experimental settings for technical term translation using Sanskrit-derived segments, averaging 8.46 and 6.79 chrF++ scores, respectively. Further, we conduct a post hoc human evaluation to verify the quality assessment of the translated technical terms using automated metrics. This work has important implications for the education field, especially in creating accessible, high-quality learning materials in Indian languages. By supporting the accurate and linguistically rooted translation of technical content, our approach facilitates inclusivity and aids in bridging the resource gap for learners in low-resource language communities.
• Abstract（参考訳）: 技術的用語を語彙的に類似した低リソースのインドの言語に翻訳することは、限られた並列データと言語構造の複雑さのため、依然として課題である。 本研究では,関連言語間のサブワードレベルの類似性や形態的アライメントを利用したサンスクリット・セグメンテーションを用いた言語情報翻訳手法を提案する。 提案手法では,文字レベルのセグメンテーションを用いて意味のあるサブワード単位を識別し,より正確で文脈対応の翻訳を容易にする。 これを実現するために,サンスクリット単語セグメンテーション(CharSS)の文字レベル変換モデルを用いる。 我々は,サンスクリット由来のセグメントを平均8.46と6.79のchrF++スコアを用いて,技術用語翻訳のための2つの実験的な設定における一貫した改善を観察した。 さらに、自動メトリクスを用いて翻訳された技術用語の品質評価を検証するために、ポストホックな人的評価を行う。 この研究は教育分野、特にインドの言語で利用できる高品質な学習教材の作成に重要な意味を持つ。 技術内容の正確かつ言語的に根ざした翻訳を支援することにより,低リソース言語コミュニティにおける学習者の資源ギャップを埋めることを支援する。

関連論文リスト

• Splintering Nonconcatenative Languages for Better Tokenization [4.496923806879088]
  本稿では,テキストを線形形式に再構成する前処理ステップであるSPLINTERを提案する。 我々は、ヘブライ語、アラビア語、マレー語におけるトークン語彙を評価する本質的な尺度を用いて、そのメリットを実証する。
  論文  参考訳（メタデータ） (2025-03-18T17:11:09Z)
• Lexically Grounded Subword Segmentation [0.0]
  トークン化とサブワードセグメンテーションの3つの革新を提示する。 まず,Morfessorを用いた教師なし形態素解析を事前学習に用いることを提案する。 第二に、単語埋め込み空間に接地したサブワード埋め込みを得る方法を提案する。 第3に,単語ビッグラムモデルに基づく効率的なセグメンテーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-19T13:48:19Z)
• Character-level NMT and language similarity [1.90365714903665]
  チェコ語とクロアチア語、ドイツ語、ハンガリー語、スロバキア語、スペイン語の翻訳における言語類似度およびトレーニングデータセットのサイズに対する文字レベルのニューラルマシン翻訳の有効性について検討した。 MT自動測定値を用いてモデルの評価を行い、類似言語間の翻訳が文字レベルの入力セグメンテーションの恩恵を受けることを示す。 我々は、すでに訓練済みのサブワードレベルのモデルを文字レベルに微調整することで、ギャップを埋めることが可能である、という以前の知見を確認した。
  論文  参考訳（メタデータ） (2023-08-08T17:01:42Z)
• Where's the Point? Self-Supervised Multilingual Punctuation-Agnostic Sentence Segmentation [65.6736056006381]
  85言語を対象とした多言語句読解文セグメンテーション法を提案する。 提案手法は,従来の最良文分割ツールを平均6.1%F1ポイントで上回っている。 MTモデルの訓練に使用するセグメンテーションと文のセグメンテーションを一致させる手法を用いて,平均2.3BLEU点の改善を実現する。
  論文  参考訳（メタデータ） (2023-05-30T09:49:42Z)
• TransLIST: A Transformer-Based Linguistically Informed Sanskrit Tokenizer [11.608920658638976]
  サンスクリットワードアルゴリズム(SWS)は、デジタル化されたテキストを利用できるようにし、下流のタスクをデプロイするのに不可欠である。 我々はTransLIST(Transformer based Linguistically Informed Sanskrit Tokenizer)を提案する。 TransLISTは、SWS特有のサンディー現象を考慮した潜在単語情報と共に文字入力を符号化する。
  論文  参考訳（メタデータ） (2022-10-21T06:15:40Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)
• Multi-view Subword Regularization [111.04350390045705]
  マルチビューサブワード正規化(MVR)は、標準でトークン化された入力と確率的セグメンテーションとの整合性を強制する手法です。 XTREMEマルチ言語ベンチマークの結果は、MVRが標準セグメンテーションアルゴリズムよりも最大2.5ポイントの一貫性のある改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2021-03-15T16:07:42Z)
• 2kenize: Tying Subword Sequences for Chinese Script Conversion [54.33749520569979]
  本稿では,2つのスクリプト間のマッピングと変換をあいまいにできるモデルを提案する。 提案手法は,従来の漢字変換手法よりも精度が6ポイント向上した。
  論文  参考訳（メタデータ） (2020-05-07T10:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。