論文の概要: What Counts as a Mistake? Annotating Recitation Events in Quran Memorization Transcripts
- arxiv url: http://arxiv.org/abs/2609.12085v1
- Date: Thu, 10 Sep 2026 18:11:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.505845
- Title: What Counts as a Mistake? Annotating Recitation Events in Quran Memorization Transcripts
- Title（参考訳）: 誤記」とは何か : クラン覚書における朗読事象の注釈
- Abstract要約: 本報告では,100件の録音症例の人為的アノテーションについて報告する。
予備試験では、3つのコーディングエージェントで8つのシングル20分が動作し、8つのモデルがラベル対応のF1 0.143から0.892にまたがる。
162種目のうち7種目は6種目全てを破り、そのうち5種目は1種目、最多種目は1種目である。
- 参考スコア（独自算出の注目度）: 2.627150003429427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Checking Quran recitation from an ASR transcript requires distinguishing unresolved mistakes from repetitions, repairs, opening formulas and accepted spelling differences. We report a completed human annotation of 100 production recording cases: 348 scored units and 162 localized events across ten combined labels. An executable evaluator scores labels and word positions together. A plain diff reaches label-aware F1 0.525 and localization F1 0.826; adapted production cleaner/alignment components reach 0.518 and 0.786, with exact-span F1 0.505 for both. Correcting the adapter's word coordinates recovers all five annotated repetition events, showing why annotation interfaces must be checked before interpreting baseline failures. In a preliminary pilot, eight single 20-minute runs across three coding agents and eight models span label-aware F1 0.143 to 0.892: seven land far above every baseline, and one collapses below the naive diff from a missing normalization step. Across the six, 970 of 972 gold-event instances draw an overlapping prediction, so what remains is not detection but convention: span extent, and the labels whose boundary is stipulated by adjudication rather than visible in the text. Seven of 162 events defeat all six same-day runs, five of them one orthographic rule, and the strongest run still misses the same ones. No run annotated before building, so the pilot measures the algorithm half of the task only.
- Abstract（参考訳）: ASRの書き起こしからクァランの引用をチェックするには、未解決の誤りを繰り返し、修復、公式のオープン、スペルの相違点から区別する必要がある。
348件の採点単位と162件の局部化イベントを10のラベルで比較し,100件の録音事例の完全な人為的アノテーションを報告した。
実行可能評価器は、ラベルと単語の位置を一緒にスコアする。
プレインディフはラベル対応F10.525とローカライズF10.826に到達し、適合したクリーナー/アライメント部品は0.518と0.786に達し、どちらも正確にF10.505である。
アダプタのワード座標の修正は5つの注釈付き繰り返しイベントを復元し、ベースラインの障害を解釈する前にアノテーションインターフェースをチェックする必要がある理由を示している。
予備試験では、3つのコーディングエージェントと8つのモデルにまたがる8つのシングル20分が、ラベルを意識したF1 0.143から0.892にまたがる。
972の金のインスタンスのうち6,970は重なり合う予測を描いているため、残されているものは検出ではなく慣例であり、範囲が広く、また境界がテキストに表示されるのではなく、偏見によって規定されているラベルである。
162種目のうち7種目は6種目全てを破り、そのうち5種目は1種目、最多種目は1種目である。
ビルド前にアノテートされたアノテートは実行されないので、パイロットはタスクの半分のアルゴリズムを計測します。
関連論文リスト
- Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。
我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。
52,988件の要求を監査し、スピアマン0.400で0.90と一致した。
証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
論文 参考訳（メタデータ） (2026-09-03T17:59:43Z) - Shortcut Before Circuit: Document Statistics Time In-Context Conflict Resolution [0.0]
我々は、電流と希薄度が正確に一致した合成言語でトランスフォーマーを訓練する。
私たちはこれらを最小限の因果編集で分離し、真実、トークン数、答え位置を固定しながら1つのキューを反転させます。
論文 参考訳（メタデータ） (2026-08-25T12:09:19Z) - Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail [0.0]
障害レコードの修正的なゲインを、失敗するアクションを再発光するログ確率の変化として定義すると、そのゲインは、命令チューニングされたモデル毎に負であることが分かります。
問題は、モデルのエラーメッセージの把握ではなく、ハーネスにある。
論文 参考訳（メタデータ） (2026-08-24T10:19:17Z) - Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis [0.0]
ラテン音場正書法で書かれたクルド方言の音声認識を評価する。
原文のアラビア文字仮説は111.70%のWERと100.92%のCERであり、正確な単語一致はゼロである。
ラテン語の文字化では102.36%のWERと57.89%のCERが与えられ、参照を縮小した正書法に折り畳むと97.85%と51.20%となる。
論文 参考訳（メタデータ） (2026-08-17T10:31:30Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping [70.07961857926377]
3つの制御されたビデオタスクにおけるイベントカウントのためのトレーサグラウンドパラメトリックプロファイリングを導入する。
2,190本のビデオでは,レンダリングを保ちながらイベントカウントNと周波数Fが異なる。
80%の信頼性しきい値において、Gemini 3.6 Flashは、0.5Hzと1.0Hzの12イベントまでの永続的な状態遷移を確実にカウントするが、過渡的点滅イベントに対する信頼性の高い正カウント領域は示さない。
論文 参考訳（メタデータ） (2026-08-06T17:57:06Z) - AI_LectureNote: A Retrospective Pilot Study of a Post-ASR Workflow for English-Script Rendering and Semantic Drift in Korean-English Medical Lectures [1.7028841264419619]
AI_LectureNoteは、韓国英語の医学講義のための可読性指向のポストASRワークフローである。
ラテン文字の医学用語を復元しながら、音声からテキストへの出力を研究用文字に書き換える。
論文 参考訳（メタデータ） (2026-07-19T13:02:07Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳（メタデータ） (2026-06-02T13:41:43Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Right Regions, Wrong Labels: Semantic Label Flips in Segmentation under Correlation Shift [36.96633404761302]
間違ったセマンティックラベルを割り当てている間に、モデルが合理的に重複する可能性があることを示す。
簡単な診断(フリップ)で定量化して、真理前景の画素が間違った前景のアイデンティティに割り当てられる頻度をカウントする。
論文 参考訳（メタデータ） (2026-04-14T22:15:17Z) - BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation [34.429649156970015]
以前の評価では、検索なしでベースモデルをテストしたが、これは現在の慣行を反映していない。
3つの検索可能なフロンティアモデルでは、9つのフィールドと6方向のエラー分類に基づいてBibエントリを生成する。
全体的な精度は83.6%だが、完全な正確さは50.9%に過ぎない。
論文 参考訳（メタデータ） (2026-04-03T16:30:58Z) - Semantic F1 Scores: Fair Evaluation Under Fuzzy Class Boundaries [65.89202599399252]
本稿では,主観的,ファジィなマルチラベル分類のための新しい評価指標であるセマンティックF1スコアを提案する。
セマンティックF1は意味的に関連があるが、識別できないラベルに部分クレジットを与えることで、人間の不一致やファジィ圏の境界によって特徴付けられる領域の現実をよりよく反映する。
論文 参考訳（メタデータ） (2025-09-25T21:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。