論文の概要: Scaling Hindi Quantum Natural Language Processing through Automatic Pregroup Supertagging
- arxiv url: http://arxiv.org/abs/2609.13721v1
- Date: Sat, 12 Sep 2026 05:13:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.485553
- Title: Scaling Hindi Quantum Natural Language Processing through Automatic Pregroup Supertagging
- Title（参考訳）: オートマチック・プレグループ・スーパータグによるHindi量子自然言語処理のスケーリング
- Abstract要約: 本稿では、トークンレベルの分類タスクとして、ヒンディー語前グループの自動スーパータグ付けを定式化する。
380のヒンディー語文を手動で注釈付けしたコーパスを用いて,語彙的,文脈的,プロンプト的,語彙的・形態的,接尾辞的・形態的認識的手法の評価を行った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantum Natural Language Processing (QNLP) uses pregroup grammars to translate grammatical structure into diagrammatic representations and quantum circuits. Recent Hindi QNLP work has shown that Hindi-specific pregroup grammars can support grammar-sensitive compositional models, but grammatical type assignment is still largely manual, limiting scalability. This paper formulates automatic Hindi pregroup supertagging as a token-level classification task. Using a manually annotated corpus of 380 Hindi sentences, we evaluate lexical, contextual, prompting-based, lexical-repair, and suffix/morphology-aware methods. Results show that simple lexical and contextual models are strong in this low-resource setting: contextual backoff achieves the best completed accuracy of 64.56\%, while raw Qwen2.5 prompting reaches only 11.65\%. Lexical repair raises LLM-assisted prediction to 64.08\%, demonstrating the value of constraining generative outputs with symbolic grammar knowledge. Diagnostic analysis further shows that seen and unambiguous tokens are much easier than unseen tokens, and suffix/morphology features improve karaka-token accuracy but not overall performance. These results show that automatic Hindi pregroup assignment is feasible and can reduce reliance on manual annotation in future multilingual QNLP pipelines.
- Abstract（参考訳）: 量子自然言語処理(QNLP)は、文法構造を図式表現や量子回路に変換するために、事前グループ文法を使用する。
最近のヒンディー語のQNLP研究は、ヒンディー語固有の事前群文法が文法に敏感な構成モデルをサポートできることを示したが、文法的な型代入は依然として手作業であり、スケーラビリティを制限している。
本稿では、トークンレベルの分類タスクとして、ヒンディー語前グループの自動スーパータグ付けを定式化する。
380のヒンディー語文を手動で注釈付けしたコーパスを用いて,語彙的,文脈的,プロンプト的,語彙的・形態的,接尾辞的・形態的認識的手法の評価を行った。
この低リソース環境では、単純な語彙モデルと文脈モデルは強いことが示され、コンテキストバックオフは64.56\%の最高の完了精度を達成し、生のQwen2.5プロンプトは11.65\%にしか達しない。
語彙的修復は LLM による予測を 64.08 % に引き上げ、シンボリック文法知識による生成出力の制約値を示す。
診断分析により、目に見えるトークンや不明瞭なトークンは未確認トークンよりもはるかに容易であり、接尾辞/形態的特徴はカラカトーケンの精度を改善するが、全体的な性能は向上しないことが示された。
これらの結果から,ヒンディー語前グループの自動割り当てが実現可能であり,将来の多言語QNLPパイプラインにおける手動アノテーションへの依存を減らすことが可能であることが示唆された。
関連論文リスト
- A Grapheme-Aware Indic Tokenizer for Tamil: Large-Scale Training and Intrinsic Evaluation [0.0]
本稿では,完全なGraphemeクラスタを保持するTamil用のGrapheme対応Indicトークンについて述べる。
トークン化器は、トランスフォーマーベースの言語モデルと完全に互換性を維持しながら、言語的に意味のあるトークン境界を生成する。
論文 参考訳（メタデータ） (2026-09-06T16:01:26Z) - Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs [32.94544776067079]
ASRの書き起こしには、フィラー、繰り返し、偽の開始などの不一致がしばしば含まれている。
既存のアプローチのほとんどは、除去のための非流動的なトークンを特定することに焦点を当てた古典的なモデルに依存している。
本稿では,まずシーケンスタグが不自由なトークンをマークする多言語補正パイプラインを提案し,これらの信号はLLMの微調整を指導し,書き起こしを流用テキストに書き換える。
論文 参考訳（メタデータ） (2026-05-12T15:11:36Z) - Simultaneous Speech-to-Speech Translation Without Aligned Data [52.467808474293605]
同時音声翻訳では、ソース音声を対象言語にリアルタイムで翻訳する必要がある。
単語レベルのアライメントを完全に不要にするヒビキゼロを提案する。
Hibiki-Zeroは5つのX-英語タスクの翻訳精度、レイテンシ、音声転送、自然性において最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-02-11T17:41:01Z) - Comparative Analysis of Tokenization Algorithms for Low-Resource Language Dzongkha [0.1019561860229868]
事前訓練されたトークンライザのほとんどは、英語のような高リソース言語に適しているが、低リソース言語では性能が悪い。
本研究では,他の一般的な手法と比較して,3種類の共通トークン化アルゴリズムの訓練と性能を評価する。
結果は、3つのアルゴリズムがすべてポテンシャルを示す一方で、SentencePieceはDzongkhaトークン化に最も効果的であることを示している。
論文 参考訳（メタデータ） (2025-09-18T07:02:55Z) - Tokens with Meaning: A Hybrid Tokenization Approach for NLP [0.2826977330147589]
自然言語処理(NLP)におけるトークン化の役割
規則に基づく形態素解析と統計的サブワードセグメンテーションを組み合わせたハイブリッドトークン化フレームワークを提案する。
本手法は, 音韻正規化, ルートアフィックス, および形態素保存と語彙効率のバランスをとる新しいアルゴリズムを用いる。
論文 参考訳（メタデータ） (2025-08-19T22:17:42Z) - Doğal Dil İşlemede Tokenizasyon Standartları ve Ölçümü: Türkçe Üzerinden Büyük Dil Modellerinin Karşılaştırmalı Analizi [0.29687381456163997]
本研究では,トルコ語などの形態学的に豊かな低リソース言語に特有なトークン化問題に対処する新たな評価フレームワークを提案する。
我々は,語彙サイズ,トークン数,処理時間,言語固有のトークンパーセンテージ(%TR),トークン純度(%Pure)に基づいてトークン化器の評価を行った。
分析の結果,言語固有のトークンパーセンテージは,トークン純度よりも下流のパフォーマンス(MMLUスコアなど)との相関が強いことが明らかとなった。
論文 参考訳（メタデータ） (2025-08-18T16:26:42Z) - Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。
文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。
右列桁のグルーピングは、大数の算術を+33%向上させる。
論文 参考訳（メタデータ） (2025-06-23T18:02:26Z) - A Variational Framework for Improving Naturalness in Generative Spoken Language Models [52.673912922590866]
本稿では,連続した音声属性をエンコードして意味的トークンを拡張できるエンドツーエンドの変分手法を提案する。
提案手法は,手動によるパラ言語的特徴の抽出と選択の必要性を排除している。
ヒトの発声者に応じて、好意的な発話継続を生産する。
論文 参考訳（メタデータ） (2025-06-17T17:58:17Z) - Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。
そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
論文 参考訳（メタデータ） (2025-02-05T15:33:00Z) - From Language Models over Tokens to Language Models over Characters [54.123846188068384]
現代の言語モデルは、$itcharacter$ stringsではなく$ittoken$ strings上の内部的、数学的に...分布である。
本稿では,トークンレベル言語モデルから文字レベル言語への変換アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-12-04T21:19:20Z) - Automatic Extraction of Rules Governing Morphological Agreement [103.78033184221373]
原文から第一パス文法仕様を抽出する自動フレームワークを開発する。
我々は、世界の多くの言語の文法の中核にあるモルフォシンタクティックな現象である合意を記述する規則の抽出に焦点をあてる。
我々のフレームワークはUniversal Dependenciesプロジェクトに含まれるすべての言語に適用され、有望な結果が得られます。
論文 参考訳（メタデータ） (2020-10-02T18:31:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。