論文の概要: Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis
- arxiv url: http://arxiv.org/abs/2608.16379v1
- Date: Mon, 17 Aug 2026 10:31:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.636292
- Title: Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis
- Title(参考訳): ガルーシ・クルド語評価セットにおける非適応多言語ASR:共通参照段階正規化解析
- Abstract要約: ラテン音場正書法で書かれたクルド方言の音声認識を評価する。
原文のアラビア文字仮説は111.70%のWERと100.92%のCERであり、正確な単語一致はゼロである。
ラテン語の文字化では102.36%のWERと57.89%のCERが与えられ、参照を縮小した正書法に折り畳むと97.85%と51.20%となる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating speech recognition for a Kurdish variety written in a Latin field orthography, using a model that outputs Arabic script, creates a measurement problem before a modelling one: direct scoring treats writing-system differences as recognition errors. Jointly normalizing reference and hypothesis avoids this, but also changes reference tokenization, mixing agreement gains with a change in the scoring denominator. I evaluate MMS-1B-all with the Central Kurdish (ckb) adapter, used as released without adaptation, on 1,722 Garrusi questionnaire segments from five speakers (9,763 reference word tokens; 117.9 minutes). I use a common-reference design: the reference is folded once and fixed at 9,763 tokens, while only the hypothesis representation varies. The raw Arabic-script hypothesis scores 111.70% WER and 100.92% CER, with zero exact word matches. Latin transliteration gives 102.36% WER and 57.89% CER; folding it into the reference's reduced orthography gives 97.85% and 51.20%. Thus RAW-to-FOLDED reduces measured WER by 13.85 points and CER by 49.72 points; folding alone accounts for 4.51 and 6.69 points. Substantial error remains: 14.53% of reference tokens are exact matches, edits are substitution-dominated, and per-segment WER is higher for shorter segments. A Southern Kurdish fine-tuned system (aranemini/southern-kurdish-asr), scored under the same design, performs worse on every speaker (1,703 segments), with 109.56% WER and 55.85% CER. However, 12,330 output characters fall outside the folding table, so these rates must be recomputed against the corrected fixed reference. The MMS output also contains 613 unconverted or unmapped characters, showing that part of the residual error reflects scoring-pipeline limits rather than recognition alone. I will release the fixed reference and segment-level results, subject to source-corpus sharing terms, to support independent checking.
- Abstract(参考訳): アラビア文字を出力するモデルを用いて、ラテン文字のフィールド正書法で書かれたクルド諸語の音声認識を評価することは、モデリングする前の測定問題を生み出す: 直接スコアリングは、文字とシステムの違いを認識エラーとして扱う。
参照と仮説の合同正規化は、これを回避し、参照トークン化も変更し、スコアリング分母の変更と合意の利得を混合する。
MMS-1B-all with the Central Kurdish (ckb) adapter, used as released without adapt, on 1,722 Garrusi Question segments from five speakers (9,763 reference word tokens; 117.9 minutes)。
参照は1回折り畳まれ、9,763トークンで固定されます。
原文のアラビア文字仮説は111.70%のWERと100.92%のCERであり、正確な単語一致はゼロである。
ラテン語の音訳では102.36%のWERと57.89%のCERが与えられ、97.85%と51.20%となっている。
したがって、RAW-to-FOLDEDは測定値WERを13.85ポイント、CERを49.72ポイント削減し、折りたたみだけで4.51と6.69ポイントを占める。
14.53%の参照トークンは正確な一致であり、編集は置換優先であり、セグメントごとのWERは短いセグメントに対して高い。
南クルド語の微調整システム (aranemini/Southern-kurdish-asr) は同じ設計で、全ての話者 (1,703セグメント) で109.56%のWERと55.85%のCERを出力する。
しかし、12,330の出力文字は折りたたみテーブルの外にあるので、修正された固定参照に対してこれらのレートを再計算する必要がある。
MMS出力には613文字の非変換文字や未マップ文字が含まれており、残差エラーの一部は認識のみではなくスコア-ピペリン制限を反映していることを示している。
私は、独立したチェックをサポートするために、ソース・コーパス共有の条件の下で、固定された参照とセグメントレベルの結果をリリースします。
関連論文リスト
- PA-CDM: Position-Aware Character Detection Matching for Evaluating Handwritten Mathematical Expression Recognition [0.0]
手書きの数学的表現認識は、正確なマッチ率と、エラーの発生箇所に盲目な文字列類似度メトリクスによって評価される。
そこで本研究では,文字検出と位置フォレスト符号化,分散レベル重み付けを併用した位置認識メトリックを提案する。
PA-CDMは、6つの自動測定値のうち、人間の判断と最も高い相関関係を持つ。
論文 参考訳(メタデータ) (2026-09-11T14:43:05Z) - Can Scene Text Recognition Read Rare Compositions? [1.7844382164707184]
6つの標準ベンチマークにおいて、シーンテキスト認識は89-97%正確であると報告され、その問題が飽和として広く扱われている。
私たちは代替の読書を提示する。
同じテスト画像が、基準コーパスに対して、接地的単語の規則性と文字n-gramの新規性によって共同で成層されると、結果の5x5グリッドのレアワードxレアトリグラムコーナーでの精度は、q3/q3センタより10〜18pt下方に低下する。
論文 参考訳(メタデータ) (2026-09-01T07:16:42Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T09:50:52Z) - Stoicheia: Character-Level Masked Diffusion for Ancient Greek Textual Restoration, Parsing, and Metrical Scansion [0.0]
ストイチェア (Stoicheia) は古代ギリシアの文字レベルのマスク付き拡散エンコーダである。
オープンでリビジョンされた380万ワードのコーパスで事前トレーニングを行い、11個のチェックポイントをリリースする。
イサカ自身のテスト分割では、同じ凍結サンプルと厳密なスコアで、Stoicheiaは両方の従来の最先端システムと比較して文字エラーを減らす。
論文 参考訳(メタデータ) (2026-08-07T14:07:43Z) - Blind to the Pivotal Vote: Aggregate Independence Metrics Miss Where Verification Actually Helps [9.710464466895521]
多数派の置換規則は、クエリの16.2%でシグナルを呼び出しながら、全体的な精度を82.44%から85.62%に向上させる。
HumanEval+/MBPP+では、16.2%のクエリでシグナルを呼び出しながら、多数派の置換規則が全体の精度を82.44%から85.62%に引き上げている。
論文 参考訳(メタデータ) (2026-08-07T08:14:46Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳(メタデータ) (2026-07-29T15:55:31Z) - One Ruler: A Same-Hands Re-Evaluation of Bivariate Causal Direction on Tuebingen, with a Parameter-Free Compression Baseline [0.0]
我々は、同じ102ペア上で、すべてのメソッドが私たちによって実行される、Tuebingenの因果効果ペアを再評価する。
クリーンな参照ポイントとして、意図的に最小限のベースラインを導入します。
共通の統治者の下では、その地位は文学と大きく異なる。
論文 参考訳(メタデータ) (2026-06-22T15:43:19Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳(メタデータ) (2026-06-02T07:01:33Z) - FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。
GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
論文 参考訳(メタデータ) (2026-05-27T18:59:18Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳(メタデータ) (2026-05-20T19:08:38Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳(メタデータ) (2026-05-17T07:08:14Z) - The Digital Afterlife of Empires: Four Language Models Converge on the Same Imperial Cartography of Writing [0.0]
大規模な言語モデルは、過激な不平等を伴う世界の書記システムを処理する。
29のスクリプト(9.7%)は現代のデジタルインフラで完全にサポートされており、158のリビングスクリプトのうち60(38.0%)は完全なサポートを欠いている。
tokenizer の効率は、パラレルテキストで測定された45のスクリプトに対して 31.7 の係数で変化する。
論文 参考訳(メタデータ) (2026-04-30T07:02:45Z) - Error Correction by Paying Attention to Both Acoustic and Confidence References for Automatic Speech Recognition [52.624909026294105]
本稿では,非自己回帰型音声誤り訂正法を提案する。
信頼モジュールは、N-best ASR仮説の各単語の不確実性を測定する。
提案方式は,ASRモデルと比較して誤差率を21%削減する。
論文 参考訳(メタデータ) (2024-06-29T17:56:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。