Fugu-MT 論文翻訳(概要): Evaluation of HTR models without Ground Truth Material

論文の概要: Evaluation of HTR models without Ground Truth Material

arxiv url: http://arxiv.org/abs/2201.06170v1
Date: Mon, 17 Jan 2022 01:26:09 GMT
ステータス: 処理完了
システム内更新日: 2022-01-21 09:10:09.794764
Title: Evaluation of HTR models without Ground Truth Material
Title（参考訳）: 地盤真理材料を含まないhtrモデルの評価
Authors: Phillip Benjamin Str\"obel, Simon Clematide, Martin Volk, Raphael Schwitter, Tobias Hodel, David Schoch
Abstract要約: 手書き文字認識モデルの開発における評価は容易である。しかし、開発からアプリケーションに切り替えると、評価プロセスはトリッキーになります。我々は,レキシコンに基づく評価が,レキシコンに基づく手法と競合することを示す。
参考スコア（独自算出の注目度）: 2.4792948967354236
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The evaluation of Handwritten Text Recognition (HTR) models during their development is straightforward: because HTR is a supervised problem, the usual data split into training, validation, and test data sets allows the evaluation of models in terms of accuracy or error rates. However, the evaluation process becomes tricky as soon as we switch from development to application. A compilation of a new (and forcibly smaller) ground truth (GT) from a sample of the data that we want to apply the model on and the subsequent evaluation of models thereon only provides hints about the quality of the recognised text, as do confidence scores (if available) the models return. Moreover, if we have several models at hand, we face a model selection problem since we want to obtain the best possible result during the application phase. This calls for GT-free metrics to select the best model, which is why we (re-)introduce and compare different metrics, from simple, lexicon-based to more elaborate ones using standard language models and masked language models (MLM). We show that MLM-based evaluation can compete with lexicon-based methods, with the advantage that large and multilingual transformers are readily available, thus making compiling lexical resources for other metrics superfluous.
Abstract（参考訳）: HTRは教師付き問題であるため、通常のデータをトレーニング、検証、テストデータセットに分割することで、精度やエラー率の観点からモデルの評価が可能になる。しかし、開発からアプリケーションに移行すると、評価プロセスはトリッキーになります。モデルを適用したいデータのサンプルから新しい(そして強制的に小さい)基底真理(GT)をコンパイルし、それに続くモデルの評価は、モデルの信頼性スコア(利用可能であれば)が返されるように、認識されたテキストの品質に関するヒントを提供するのみである。さらに、複数のモデルが手元にある場合、アプリケーション段階で可能な最良の結果を得たいため、モデル選択の問題に直面します。そのために私たちは、単純でレキシコンベースのものから、標準言語モデルとマスク言語モデル(mlm)を使用してより精巧なものまで、さまざまなメトリクスを(再)導入し比較します。 MLMに基づく評価は,大規模・多言語変換器が容易に利用できるという利点を活かして,レキシコンベースの手法と競合しうることを示す。

関連論文リスト

LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
論文参考訳（メタデータ） (2024-10-14T17:51:23Z)
OLMES: A Standard for Language Model Evaluations [64.85905119836818]
再現可能な言語モデル評価のための実用的でオープンな標準であるOLMESを提案する。我々は,コミュニティが採用する評価実践において,様々な要因を特定し,検討する。 OLMESは、複数の質問の非自然な「閉じた」定式化を必要とする小さなベースモデル間の有意義な比較をサポートする。
論文参考訳（メタデータ） (2024-06-12T17:37:09Z)
Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文参考訳（メタデータ） (2024-04-04T15:36:53Z)
BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
論文参考訳（メタデータ） (2023-10-24T12:18:17Z)
Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
論文参考訳（メタデータ） (2023-10-05T09:09:44Z)
The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。テキスト内学習と微調整によるラベル付きデータの影響について検討する。次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文参考訳（メタデータ） (2023-08-14T17:17:21Z)
TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models [20.09470051458651]
本稿では,多種多様なモデル生成要約を注釈付けして合成データを生成する方法であるTrueTeacherを紹介する。以前の作業とは異なり、TrueTeacherは人間が書いた要約に頼らず、本質的に多言語である。
論文参考訳（メタデータ） (2023-05-18T17:58:35Z)
Evaluating Representations with Readout Model Switching [19.907607374144167]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文参考訳（メタデータ） (2023-02-19T14:08:01Z)
Efficient Training of Language Models to Fill in the Middle [17.118891860985123]
自動回帰言語モデルは、データセットに直接的な変換を適用した後、テキストを埋めることを学ぶことができる。 FIMモデルのトレーニングには、デフォルト設定の強い設定とベストプラクティスを規定するために、これらのアブリケーションを使用します。私たちはAPIのベストプラクティスでトレーニングされた最高のインフィルモデルをリリースし、将来の研究を支援するためにインフィルベンチマークをリリースしました。
論文参考訳（メタデータ） (2022-07-28T17:40:47Z)
Code to Comment Translation: A Comparative Study on Model Effectiveness & Errors [19.653423881863834]
機械翻訳モデルは、コードスニペットを関連する自然言語記述に"翻訳"するために使用される。このようなモデルのほとんどの評価は、自動参照ベースメトリクスを用いて行われる。本稿では,スムーズなBLEU-4, METEOR, ROUGE-L機械翻訳指標に基づくソースコード要約モデルを提案する。実験によって得られた誤り分類において,メトリックベース性能とモデル予測誤差の関係について新たな知見が得られた。
論文参考訳（メタデータ） (2021-06-15T20:13:14Z)
Coarse-to-Fine Memory Matching for Joint Retrieval and Classification [0.7081604594416339]
共同検索と分類のための新しいエンドツーエンド言語モデルを提案する。 FEVERファクト検証データセットの標準ブラインドテストセットで評価する。我々は、モデルを分析・制約するためのこの設定に、模範監査を拡張します。
論文参考訳（メタデータ） (2020-11-29T05:06:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。