論文の概要: Rethinking HTG Evaluation: Bridging Generation and Recognition
- arxiv url: http://arxiv.org/abs/2409.02683v1
- Date: Wed, 4 Sep 2024 13:15:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 18:26:46.815332
- Title: Rethinking HTG Evaluation: Bridging Generation and Recognition
- Title（参考訳）: HTG評価の再考:ブリッジ生成と認識
- Authors: Konstantina Nikolaidou, George Retsinas, Giorgos Sfikas, Marcus Liwicki,
- Abstract要約: 我々は、HTG評価に適した3つの測度、textHTG_textstyle $, $ textHTG_textOOV $を紹介します。
このメトリクスは、手書き文字認識と文字識別モデルの認識誤り/精度に依存している。
以上の結果から,我々のメトリクスは情報に富み,HTGの標準化された評価プロトコルの必要性を浮き彫りにしている。
- 参考スコア（独自算出の注目度）: 7.398476020996681
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The evaluation of generative models for natural image tasks has been extensively studied. Similar protocols and metrics are used in cases with unique particularities, such as Handwriting Generation, even if they might not be completely appropriate. In this work, we introduce three measures tailored for HTG evaluation, $ \text{HTG}_{\text{HTR}} $, $ \text{HTG}_{\text{style}} $, and $ \text{HTG}_{\text{OOV}} $, and argue that they are more expedient to evaluate the quality of generated handwritten images. The metrics rely on the recognition error/accuracy of Handwriting Text Recognition and Writer Identification models and emphasize writing style, textual content, and diversity as the main aspects that adhere to the content of handwritten images. We conduct comprehensive experiments on the IAM handwriting database, showcasing that widely used metrics such as FID fail to properly quantify the diversity and the practical utility of generated handwriting samples. Our findings show that our metrics are richer in information and underscore the necessity of standardized evaluation protocols in HTG. The proposed metrics provide a more robust and informative protocol for assessing HTG quality, contributing to improved performance in HTR. Code for the evaluation protocol is available at: https://github.com/koninik/HTG_evaluation.
- Abstract（参考訳）: 自然画像タスクの生成モデルの評価は, 広く研究されている。
同様のプロトコルやメトリクスは、たとえ完全に適切でないとしても、手書き生成のような特殊なケースで使用される。
本稿では,HTG評価に適した3つの尺度を紹介する。$ \text{HTG}_{\text{HTR}} $, $ \text{HTG}_{\text{style}} $, $ \text{HTG}_{\text{OOV}} $。
このメトリクスは、手書き文字認識と文字識別モデルの認識誤り/精度に依存しており、手書き画像のコンテンツに準拠する主な側面として、書き方、テキストコンテンツ、多様性を強調している。
我々は、IAM手書きデータベース上で包括的な実験を行い、FIDなどの広く使われているメトリクスが、生成した手書きサンプルの多様性と実用性を適切に定量化できないことを示す。
以上の結果から,我々のメトリクスは情報に富み,HTGの標準化された評価プロトコルの必要性を浮き彫りにしている。
提案したメトリクスは、HTGの品質を評価するためのより堅牢で有益なプロトコルを提供し、HTRの性能向上に寄与する。
評価プロトコルのコードは、https://github.com/koninik/HTG_evaluation.comで公開されている。
関連論文リスト
- Classification of Non-native Handwritten Characters Using Convolutional Neural Network [0.0]
非ネイティブユーザによる英語文字の分類は、カスタマイズされたCNNモデルを提案することによって行われる。
我々はこのCNNを、手書きの独立した英語文字データセットと呼ばれる新しいデータセットでトレーニングする。
5つの畳み込み層と1つの隠蔽層を持つモデルでは、文字認識精度において最先端モデルよりも優れる。
論文 参考訳（メタデータ） (2024-06-06T21:08:07Z) - HWD: A Novel Evaluation Score for Styled Handwritten Text Generation [36.416044687373535]
スタイル付き手書きテキスト生成(Styled HTG)は文書解析において重要な課題であり、与えられた参照画像の書き起こしでテキスト画像を生成することを目的としている。
我々はHTG評価に適した手書き距離(HWD)を考案する。
特に、可変レンズ入力画像から手書きスタイルの特徴を抽出し、知覚距離を利用して手書きの微妙な幾何学的特徴を比較するように特別に訓練されたネットワークの特徴空間で機能する。
論文 参考訳（メタデータ） (2023-10-31T09:44:27Z) - INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained
Feedback [80.57617091714448]
テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。
LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
論文 参考訳（メタデータ） (2023-05-23T17:27:22Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳（メタデータ） (2023-01-14T15:43:07Z) - PART: Pre-trained Authorship Representation Transformer [64.78260098263489]
文書を書く著者は、語彙、レジストリ、句読点、ミススペル、絵文字の使用など、テキスト内での識別情報をインプリントする。
以前の作品では、手作りのフィーチャや分類タスクを使用して著者モデルをトレーニングし、ドメイン外の著者に対するパフォーマンスの低下につながった。
セマンティクスの代わりにtextbfauthorship の埋め込みを学習するために、対照的に訓練されたモデルを提案する。
論文 参考訳（メタデータ） (2022-09-30T11:08:39Z) - Content and Style Aware Generation of Text-line Images for Handwriting
Recognition [4.301658883577544]
視覚的外観とテキストコンテンツの両方を条件とした手書きテキストライン画像の生成法を提案する。
本手法では,多彩な手書きスタイルの長いテキストラインサンプルを作成できる。
論文 参考訳（メタデータ） (2022-04-12T05:52:03Z) - Transparent Human Evaluation for Image Captioning [70.03979566548823]
画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。
人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。
この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
論文 参考訳（メタデータ） (2021-11-17T07:09:59Z) - GRUEN for Evaluating Linguistic Quality of Generated Text [17.234442722611803]
本稿では、文法性、非冗長性、focU、生成したテキストの構造とコヒーレンスを評価するためのGRUENを提案する。
GRUENはBERTベースのモデルと構文的、意味的、文脈的特徴のクラスを使用してシステム出力を調べる。
論文 参考訳（メタデータ） (2020-10-06T05:59:25Z) - FCN+RL: A Fully Convolutional Network followed by Refinement Layers to
Offline Handwritten Signature Segmentation [3.3144312096837325]
そこで本研究では,手書き署名の画素の識別と抽出を行う手法を提案する。
この技術は、完全な畳み込みエンコーダ・デコーダネットワークと、予測された画像のアルファチャネルのための洗練されたレイヤのブロックを組み合わせたものである。
論文 参考訳（メタデータ） (2020-05-28T18:47:10Z) - Context-Based Quotation Recommendation [60.93257124507105]
本稿では,新しい文脈対応引用レコメンデーションシステムを提案する。
これは、所定のソース文書から引用可能な段落とトークンの列挙リストを生成する。
音声テキストと関連するニュース記事の収集実験を行う。
論文 参考訳（メタデータ） (2020-05-17T17:49:53Z) - SPECTER: Document-level Representation Learning using Citation-informed
Transformers [51.048515757909215]
SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。
SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
論文 参考訳（メタデータ） (2020-04-15T16:05:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。