論文の概要: PA-CDM: Position-Aware Character Detection Matching for Evaluating Handwritten Mathematical Expression Recognition
- arxiv url: http://arxiv.org/abs/2609.12917v1
- Date: Fri, 11 Sep 2026 14:43:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.787436
- Title: PA-CDM: Position-Aware Character Detection Matching for Evaluating Handwritten Mathematical Expression Recognition
- Title(参考訳): PA-CDM:手書き数式認識評価のための位置認識文字検出マッチング
- Abstract要約: 手書きの数学的表現認識は、正確なマッチ率と、エラーの発生箇所に盲目な文字列類似度メトリクスによって評価される。
そこで本研究では,文字検出と位置フォレスト符号化,分散レベル重み付けを併用した位置認識メトリックを提案する。
PA-CDMは、6つの自動測定値のうち、人間の判断と最も高い相関関係を持つ。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Handwritten mathematical expression recognition (HMER) is conventionally scored by exact-match rates and string-similarity metrics that are blind to where an error occurs: two predictions with identical token-error counts receive identical scores whether they misplace a subscript or swap the operands of a fraction. Render-based character detection matching (CDM) aligns glyphs robustly but remains position-blind---on controlled fraction-operand swaps it scores 0.8595 where position-aware scoring yields 0.6253. Tree-edit metrics exhibit a complementary blind spot: rewrites outside the parser's normalization coverage are penalized as structural errors (0.8552 where render-based metrics score 1.0). We propose PA-CDM, a position-aware metric that couples character detection matching with position-forest encoding and divergence-level weighting; StructPerturb v2.0, a frozen benchmark of 1,340 controlled perturbation pairs across 15 type--intensity cells; and a cross-metric consistency protocol combining a sensitivity matrix, a human study, and LLM-judge calibration. In a six-annotator study, PA-CDM attains the highest correlation with human judgments among seven automatic metrics (Spearman rho=0.9535, n=990). A frontier LLM judge correlates slightly higher (rho=0.9613) but is costly, nondeterministic, and API-dependent; PA-CDM approaches it at zero marginal cost with deterministic, diagnosable behavior.
- Abstract(参考訳): 手書きの数学的表現認識(HMER)は、伝統的に、エラーの発生箇所に盲目である正確なマッチ率と文字列類似度によってスコア付けされる: トークンエラーカウントが同一である2つの予測は、サブスクリプトを置換したか、あるいは一部のオペランドを置き換えたかを同一のスコアを受け取る。
レンダーベース文字検出マッチング(CDM)はグリフを安定に整列させるが、位置認識スコアが0.6253となる0.8595と、制御された分数演算子とを交換する。
パーサの正規化範囲外の書き直しは構造的エラーとして罰せられる(レンダリングベースのメトリクススコア1.0の0.8552)。
位置認識の指標であるPA-CDMと、位置フォレストエンコーディングと発散レベル重み付けを組み合わせ,StructPerturb v2.0,15種類のインテンシティセル間で1,340個の制御された摂動対の凍結ベンチマーク,感度行列と人間の研究,LLM-judgeキャリブレーションを組み合わせたクロスメトリック整合性プロトコルを提案する。
PA-CDMは、6つの自動測定値(Spearman rho=0.9535, n=990)の中で、人間の判断と最も高い相関関係を持つ。
フロンティア LLM の判断は若干高い(rho=0.9613)が、コスト、非決定性、およびAPIに依存している。
関連論文リスト
- SHIFT-M3: Pre-fusion Alignment-based Consistency Screening for Multimodal ECG Record Integrity [0.0]
マルチモーダルな臨床AIは通常、波形、レポート、メタデータ、下流の予測が同一患者のものであると仮定する。
我々は、この問題をマルチモーダルレコード整合性トリアージとして研究している。
本稿では、2つの別々のECGテキストビュー間のアライメントベースの一貫性を測定する軽量テキストベースのプリフュージョンスクリーンShift-M3を紹介する。
論文 参考訳(メタデータ) (2026-09-12T10:58:02Z) - Relational Over-Regularization: Graph-Based AI-Generated Text Detection via Sentence Transition Deviation [4.4331439696271415]
CrossSource Stylometric Fingerprint (CSFG) はグラフベースのフレームワークで、位置、シーケンシャル、セマンティック、遷移の偏差信号を学習可能なGNNエッジとして符号化する。
CSFGは2値検出で97.14%の精度を達成し、11.14ppsで最強のグラフベースのベースラインを上回った。
論文 参考訳(メタデータ) (2026-08-27T06:51:40Z) - Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。
複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
論文 参考訳(メタデータ) (2026-05-28T06:23:31Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳(メタデータ) (2026-05-20T19:08:38Z) - Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers [1.7844382164707184]
我々は,5種類の型付き誤り分類と1500石のベンチマークを導入する。
このベンチマークで微調整されたModernBERTエンコーダはマクロF1 = 0.899に達する。
本稿では,ラベル保存型強化トレーニングデータを生成するために,シンボル検証器のモジュールを逆向きに動作させる訓練時フレームワークであるSybolic Augmentationを提案する。
論文 参考訳(メタデータ) (2026-05-19T15:58:00Z) - Representation Before Training: A Fixed-Budget Benchmark for Generative Medical Event Models [0.3250525349446657]
我々は,表現決定が1世紀前の事前学習予算の共有後の下流予測にどのように影響するかを評価する。
我々はMIMIC-IVで28個の整形トランスを訓練し,30個の臨床結果について評価した。
論文 参考訳(メタデータ) (2026-04-18T01:38:47Z) - SERSEM: Selective Entropy-Weighted Scoring for Membership Inference in Code Language Models [1.327416973220814]
記憶信号の増幅のために非形式的統語的ボイラプレートを抑える新しいホワイトボックス攻撃フレームワークであるSERSEMを提案する。
以上の結果から,人間中心の符号化異常に注目することは,列レベルの確率平均よりも格段に頑健な暗記の指標となることが示唆された。
論文 参考訳(メタデータ) (2026-04-01T17:03:58Z) - Beyond Raw Detection Scores: Markov-Informed Calibration for Boosting Machine-Generated Text Detection [105.14032334647932]
機械生成テキスト(MGT)は偽情報やフィッシングなどのリスクを生じさせ、信頼性の高い検出の必要性を強調している。
MGTの統計的に区別可能な特徴を抽出するメトリックベース法は、オーバーフィットしがちな複雑なモデルベース法よりも実用的であることが多い。
本稿では,2つのコンテキスト検出スコアの関係をモデル化したマルコフ情報を用いたスコアキャリブレーション手法を提案する。
論文 参考訳(メタデータ) (2026-02-08T16:06:12Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳(メタデータ) (2024-11-04T14:29:02Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳(メタデータ) (2023-01-14T15:43:07Z) - Re-Examining System-Level Correlations of Automatic Summarization
Evaluation Metrics [64.81682222169113]
システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。
システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
論文 参考訳(メタデータ) (2022-04-21T15:52:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。