論文の概要: BERTScoreVisualizer: A Web Tool for Understanding Simplified Text Evaluation with BERTScore
- arxiv url: http://arxiv.org/abs/2409.17160v1
- Date: Tue, 10 Sep 2024 22:15:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 16:50:22.183562
- Title: BERTScoreVisualizer: A Web Tool for Understanding Simplified Text Evaluation with BERTScore
- Title（参考訳）: BERTScoreVisualizer: BERTScoreによる簡易テキスト評価を理解するためのWebツール
- Authors: Sebastian Jaskowski, Sahasra Chava, Agam Shah,
- Abstract要約: BERTScoreメトリックは、テキストの単純化システムを評価するために一般的に使用される。
現在のメトリックの実装では、メトリックが生成できるすべての情報を完全に可視化することができません。
BERTScoreVisualizerは、正確さ、リコール、F1スコアを報告し、トークン間のマッチングを視覚化するWebアプリケーションです。
- 参考スコア（独自算出の注目度）: 2.389598109913754
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The BERTScore metric is commonly used to evaluate automatic text simplification systems. However, current implementations of the metric fail to provide complete visibility into all information the metric can produce. Notably, the specific token matchings can be incredibly useful in generating clause-level insight into the quality of simplified text. We address this by introducing BERTScoreVisualizer, a web application that goes beyond reporting precision, recall, and F1 score and provides a visualization of the matching between tokens. We believe that our software can help improve the analysis of text simplification systems by specifically showing where generated, simplified text deviates from reference text. We host our code and demo on GitHub.
- Abstract（参考訳）: BERTScoreメトリックは、自動テキスト単純化システムを評価するために一般的に使用される。
しかし、現在のメトリックの実装では、メトリックが生成できる全ての情報を完全に可視化することができません。
特に、特定のトークンマッチングは、単純化されたテキストの品質に関する節レベルの洞察を生成するのに驚くほど有用である。
BERTScoreVisualizerは、正確さ、リコール、F1スコアを報告し、トークン間のマッチングを視覚化するWebアプリケーションです。
本ソフトウェアは,参照テキストから生成した簡易テキストがどの位置から逸脱するかを具体的に示すことによって,テキスト単純化システムの解析を改善することができると考えている。
コードをホストし、GitHubでデモを行います。
関連論文リスト
- Out of Length Text Recognition with Sub-String Matching [54.63761108308825]
本稿では,このタスクをOOL(Out of Length)テキスト認識と呼ぶ。
サブ文字列マッチング(SMTR)を用いたOOLテキスト認識手法を提案する。
SMTRは2つのクロスアテンションベースのモジュールから構成される: 1つは複数の文字を含むサブストリングを次のクエリと前のクエリにエンコードし、もう1つは画像の特徴に対応するためにクエリを使用する。
論文 参考訳（メタデータ） (2024-07-17T05:02:17Z) - Efficiently Leveraging Linguistic Priors for Scene Text Spotting [63.22351047545888]
本稿では,大規模テキストコーパスから言語知識を活用する手法を提案する。
シーンテキストデータセットとよく一致したテキスト分布を生成し、ドメイン内の微調整の必要性を取り除く。
実験結果から,本手法は認識精度を向上するだけでなく,単語のより正確な局所化を可能にすることが示された。
論文 参考訳（メタデータ） (2024-02-27T01:57:09Z) - Aligning Speakers: Evaluating and Visualizing Text-based Diarization
Using Efficient Multiple Sequence Alignment (Extended Version) [21.325463387256807]
テキストベースのDiarization Error RateとDiarization F1という2つの新しい指標が提案されている。
私たちのメトリクスは、既存のものと比較して多くの種類のエラーを含んでおり、話者ダイアリゼーションにおいてより包括的な分析を可能にします。
論文 参考訳（メタデータ） (2023-09-14T12:43:26Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳（メタデータ） (2023-06-06T03:37:41Z) - Evaluating Factual Consistency of Texts with Semantic Role Labeling [3.1776833268555134]
本稿では,テキスト要約を念頭に設計した参照不要評価指標SRLScoreを紹介する。
最終事実度スコアは、調整可能なスコアリング機構により算出される。
英語の要約データセットにおける人間の判断との相関は、SRLScoreが最先端の手法と競合していることを示している。
論文 参考訳（メタデータ） (2023-05-22T17:59:42Z) - DeepSolo: Let Transformer Decoder with Explicit Points Solo for Text
Spotting [129.73247700864385]
DeepSoloは単純な検出トランスフォーマーのベースラインで、テキスト検出と認識を同時に行うためのExplicit Points Soloを備えた1つのデコーダを提供する。
我々は、より正確な監視信号を提供するためにテキストマッチング基準を導入し、より効率的な訓練を可能にした。
論文 参考訳（メタデータ） (2022-11-19T19:06:22Z) - Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。
同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
論文 参考訳（メタデータ） (2022-05-15T12:58:35Z) - Contextual Hate Speech Detection in Code Mixed Text using Transformer
Based Approaches [0.0]
我々は,Twitterのコード混在テキストにおけるヘイトスピーチ検出の自動化手法を提案する。
通常のアプローチでは、テキストを個別に分析するが、親ツイートの形でコンテンツテキストも活用する。
独立表現を用いたデュアルエンコーダ方式により性能が向上することを示す。
論文 参考訳（メタデータ） (2021-10-18T14:05:36Z) - BARTScore: Evaluating Generated Text as Text Generation [89.50052670307434]
我々は、事前学習されたシーケンス・ツー・シーケンスモデルを用いてモデル化されたテキスト生成問題として、生成されたテキストの評価を概念化する。
我々は、エンコーダ-デコーダベースの事前学習モデルであるBARTを用いて、このアイデアを運用する。
本稿では,様々な視点からテキストの評価に柔軟に適用可能な,数多くの変種を持つメトリクスBARTScoreを提案する。
論文 参考訳（メタデータ） (2021-06-22T03:20:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。