論文の概要: Stringalign: Moving beyond summary statistics with a transparent Unicode-aware tool for evaluating automatic transcription models
- arxiv url: http://arxiv.org/abs/2606.16015v1
- Date: Sun, 14 Jun 2026 20:57:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.990062
- Title: Stringalign: Moving beyond summary statistics with a transparent Unicode-aware tool for evaluating automatic transcription models
- Title（参考訳）: Stringalign: 自動転写モデルを評価するための透過的Unicode認識ツールによる要約統計を超えて
- Abstract要約: 本稿では,自動転写プロジェクトの評価プロセスの簡略化を目的としたPythonライブラリであるStringalignを提案する。
Stringalignのツールは、モデルのエラー率とエラーの種類の両方を調べ、視覚化し、改善の可能性について洞察を与える。
- 参考スコア（独自算出の注目度）: 0.11458853556386794
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Comparing text strings is crucial when evaluating and understanding the performance of various text processing tasks such as document recognition and audio transcription. With an increasingly complex landscape of AI-based handwritten text recognition (HTR), optical character recognition (OCR) and automatic speech recognition (ASR) models, there is a need for tools that facilitate evaluation in a flexible and reproducible way. This paper presents Stringalign, a Python library designed to simplify the evaluation process for automatic transcription projects and facilitate transparent evaluation. Stringalign's tools to examine and visualise both the rate of errors and the types of errors a model makes, give insights into possible improvements and help inform model selection for a particular task. Widely used string comparison metrics, such as the character and word error rates (CER and WER), although useful, can be ambiguous due to varying definitions of what constitutes a character and a word. Stringalign addresses this challenge by ensuring all preprocessing (i.e. normalisation and tokenisation) is transparent and easily replicable, and by providing tools to move beyond summary statistics and analyse common model errors. Moreover, Stringalign adheres to FAIR (Findable, Accessible, Interoperable, and Reusable) principles for research software while staying lightweight and easy to adapt into researchers existing workflows. In this paper, we discuss challenges with character and word level string comparisons and show through examples that where existing tools can yield opaque and sometimes confusing results, Stringalign provides an easy-to-use and unambiguous alternative.
- Abstract（参考訳）: テキスト文字列の比較は、文書認識や音声の書き起こしといった様々なテキスト処理タスクの評価と理解において重要である。
AIベースの手書き文字認識(HTR)、光学文字認識(OCR)、自動音声認識(ASR)モデルの複雑な状況により、柔軟で再現可能な評価を容易にするツールが必要である。
本稿では,自動転写プロジェクトの評価プロセスを簡素化し,透過的な評価を容易にするPythonライブラリであるStringalignを提案する。
Stringalignのツールは、モデルのエラー率とエラーの種類の両方を調べ、視覚化し、改善の可能性についての洞察を与え、特定のタスクに対するモデル選択を通知する。
文字列比較の指標として、文字と単語の誤り率(CERとWER)が広く使用されているが、文字と単語を構成するものの定義が異なるため、有用ではない。
Stringalignはこの課題に対処するため、すべての前処理(正規化とトークン化)が透過的で容易に複製可能であることを保証するとともに、要約統計を超えて一般的なモデルエラーを分析するツールを提供することで対処している。
さらに、Stringalignは研究ソフトウェアに対するFAIR(Findable、Accessible、Interoperable、Reusable)の原則に準拠している。
本稿では,文字レベルと単語レベルの文字列比較の課題について論じ,既存のツールが不透明で時に混乱する結果をもたらす場合の例を通して,Stringalignは使いやすく,曖昧な代替手段を提供する。
関連論文リスト
- MuTSE: A Human-in-the-Loop Multi-use Text Simplification Evaluator [0.13048920509133807]
textbfMuTSEfootnoteは、大規模言語モデルの評価を合理化するために設計されたインタラクティブなヒューマン・イン・ザ・ループ・ウェブアプリケーションである。
このシステムは、P倍M$プロンプトモデル置換の同時実行をサポートし、リアルタイムに包括的な比較行列を生成する。
論文 参考訳（メタデータ） (2026-04-10T04:31:43Z) - Verbatim Data Transcription Failures in LLM Code Generation: A State-Tracking Stress Test [1.8875967655304022]
多くの実世界のソフトウェアタスクは、提供されたデータのコードへの正確な書き起こしを必要とする。
小さな省略や変更は、構文的に有効なプログラムを作成しながら沈黙し続けることができる。
本稿では、この信頼性の懸念を解消するために、意図的に最小限の書き起こし-コードベンチマークを導入する。
論文 参考訳（メタデータ） (2026-01-07T06:38:34Z) - Vision-Language Models are Strong Noisy Label Detectors [76.07846780815794]
本稿では、視覚言語モデルに適応するためのDeFTと呼ばれるDenoising Fine-Tuningフレームワークを提案する。
DeFTは、何百万もの補助的な画像テキストペアで事前訓練されたテキストと視覚的特徴のロバストなアライメントを利用して、ノイズの多いラベルを抽出する。
7つの合成および実世界のノイズデータセットの実験結果から,ノイズラベル検出と画像分類の両方においてDeFTの有効性が検証された。
論文 参考訳（メタデータ） (2024-09-29T12:55:17Z) - Learning Robust Named Entity Recognizers From Noisy Data With Retrieval Augmentation [67.89838237013078]
名前付きエンティティ認識(NER)モデルは、しばしばノイズの多い入力に悩まされる。
ノイズの多いテキストとそのNERラベルのみを利用できる、より現実的な設定を提案する。
我々は、推論中にテキストを取得することなく、堅牢なNERを改善するマルチビュートレーニングフレームワークを採用している。
論文 参考訳（メタデータ） (2024-07-26T07:30:41Z) - OmniParser: A Unified Framework for Text Spotting, Key Information Extraction and Table Recognition [79.852642726105]
多様なシナリオにまたがって視覚的なテキストを解析するための統一パラダイムを提案する。
具体的には,3つの視覚的なテキスト解析タスクを同時に処理できるOmniというユニバーサルモデルを提案する。
オムニでは、全てのタスクが統一エンコーダ・デコーダアーキテクチャ、統一目的点条件テキスト生成、統一入力表現を共有している。
論文 参考訳（メタデータ） (2024-03-28T03:51:14Z) - Identifying and Analyzing Performance-Critical Tokens in Large Language Models [52.404072802235234]
我々は大規模な言語モデルがいかに実演からタスクを実行するかを研究する。
私たちの仕事は、大規模な言語モデルがデモからタスクを実行するための学習方法に光を当て、さまざまな種類のトークンが大きな言語モデルで果たす役割についての理解を深めます。
論文 参考訳（メタデータ） (2024-01-20T20:55:21Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳（メタデータ） (2023-06-06T03:37:41Z) - Evaluating Factual Consistency of Texts with Semantic Role Labeling [3.1776833268555134]
本稿では,テキスト要約を念頭に設計した参照不要評価指標SRLScoreを紹介する。
最終事実度スコアは、調整可能なスコアリング機構により算出される。
英語の要約データセットにおける人間の判断との相関は、SRLScoreが最先端の手法と競合していることを示している。
論文 参考訳（メタデータ） (2023-05-22T17:59:42Z) - Composable Text Controls in Latent Space with ODEs [97.12426987887021]
本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。
事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。
実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
論文 参考訳（メタデータ） (2022-08-01T06:51:45Z) - Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。
従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。
そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2021-11-04T04:39:02Z) - Comparing Text Representations: A Theory-Driven Approach [2.893558866535708]
我々は、テキストデータセットの特定の特徴に適合するように、計算学習理論から一般的なツールを適応させる。
本稿では,表現とタスクの整合性を評価する手法を提案する。
この方法は、分類に基づくNLPタスクの難易度を校正し、定量的に測定する。
論文 参考訳（メタデータ） (2021-09-15T17:48:19Z) - Do Encoder Representations of Generative Dialogue Models Encode
Sufficient Information about the Task ? [41.36218215755317]
対話モデルの言語理解の健全さを適切に評価するには,人的・自動的な指標によるテキストの評価が不十分であることを示す。
本稿では,対話モデルで一般的に使用される言語エンコーダのエンコーダ表現を評価するための探索タスクを提案する。
論文 参考訳（メタデータ） (2021-06-20T04:52:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。