論文の概要: Evaluating Subtitle Segmentation for End-to-end Generation Systems

• arxiv url: http://arxiv.org/abs/2205.09360v1
• Date: Thu, 19 May 2022 07:38:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-20 14:10:20.437146
• Title: Evaluating Subtitle Segmentation for End-to-end Generation Systems
• Title（参考訳）: エンドツーエンド生成システムにおけるサブタイトルセグメンテーションの評価
• Authors: Alina Karakanta and Fran\c{c}ois Buet and Mauro Cettolo and Fran\c{c}ois Yvon
• Abstract要約: 字幕は、形式的制約(長さ)と構文的・意味論的基準に基づいて区切られた短いテキストとして画面に表示される。 標準セグメンテーションメトリクスは、システムが基準とは異なる出力を生成するときに適用できない。 セグメンテーション境界上のBLEUの近似上界から派生した新しい字幕スコアである$Sigma$を導入する。
• 参考スコア（独自算出の注目度）: 2.730149977692319
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Subtitles appear on screen as short pieces of text, segmented based on formal constraints (length) and syntactic/semantic criteria. Subtitle segmentation can be evaluated with sequence segmentation metrics against a human reference. However, standard segmentation metrics cannot be applied when systems generate outputs different than the reference, e.g. with end-to-end subtitling systems. In this paper, we study ways to conduct reference-based evaluations of segmentation accuracy irrespective of the textual content. We first conduct a systematic analysis of existing metrics for evaluating subtitle segmentation. We then introduce $Sigma$, a new Subtitle Segmentation Score derived from an approximate upper-bound of BLEU on segmentation boundaries, which allows us to disentangle the effect of good segmentation from text quality. To compare $Sigma$ with existing metrics, we further propose a boundary projection method from imperfect hypotheses to the true reference. Results show that all metrics are able to reward high quality output but for similar outputs system ranking depends on each metric's sensitivity to error type. Our thorough analyses suggest $Sigma$ is a promising segmentation candidate but its reliability over other segmentation metrics remains to be validated through correlations with human judgements.
• Abstract（参考訳）: 字幕は、形式的な制約(長さ)と構文・意味的基準に基づいて区切られた短いテキストとして画面に表示される。 サブタイトルセグメンテーションは、人間の参照に対するシーケンスセグメンテーションメトリクスで評価することができる。 しかし、標準的なセグメンテーションメトリクスは、システムが参照とは異なる出力を生成する場合、例えばエンドツーエンドのサブトリングシステムでは適用できない。 本稿では,テキストの内容に関わらず,セグメンテーション精度の基準に基づく評価を行う方法について検討する。 まず,字幕セグメンテーションを評価するために既存の指標を体系的に分析する。 次に、セグメンテーション境界上のBLEUの近似上界から派生した新しいサブタイトルセグメンテーションスコアである$Sigma$を導入し、テキスト品質からセグメンテーションの効果を解消する。 既存のメトリクスと$Sigma$を比較するために、不完全仮説から真の基準への境界射影法を提案する。 結果は、すべてのメトリクスが高品質な出力を報奨できることを示しているが、類似の出力システムランキングは、各メトリックのエラータイプに対する感度に依存する。 Sigma$は有望なセグメンテーション候補であるが、他のセグメンテーション指標に対する信頼性は人間の判断と相関して検証される。

関連論文リスト

• Using Similarity to Evaluate Factual Consistency in Summaries [2.7595794227140056]
  抽象要約器は流動的な要約を生成するが、生成したテキストの事実性は保証されない。 本稿では,ゼロショット事実性評価尺度であるSBERTScoreを提案する。 実験の結果,SBERTScoreでは,各手法の強度が異なることが示唆された。
  論文  参考訳（メタデータ） (2024-09-23T15:02:38Z)
• HICEScore: A Hierarchical Metric for Image Captioning Evaluation [10.88292081473071]
  階層的画像キャプション評価スコア(HICE-S)と呼ばれる,画像キャプション評価のための新しい基準フリーメトリクスを提案する。 HICE-Sは、局所的な視覚領域とテキストのフレーズを検出することにより、解釈可能な階層的スコアリング機構を構築する。 提案手法は,複数のベンチマークでSOTA性能を達成し,既存の基準フリー指標よりも優れていた。
  論文  参考訳（メタデータ） (2024-07-26T08:24:30Z)
• Lexically Grounded Subword Segmentation [0.0]
  トークン化とサブワードセグメンテーションの3つの革新を提示する。 まず,Morfessorを用いた教師なし形態素解析を事前学習に用いることを提案する。 第二に、単語埋め込み空間に接地したサブワード埋め込みを得る方法を提案する。 第3に,単語ビッグラムモデルに基づく効率的なセグメンテーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-19T13:48:19Z)
• Revisiting Evaluation Metrics for Semantic Segmentation: Optimization and Evaluation of Fine-grained Intersection over Union [113.20223082664681]
  そこで本研究では,mIoUsの微細化と,それに対応する最悪の指標を提案する。 これらのきめ細かいメトリクスは、大きなオブジェクトに対するバイアスの低減、よりリッチな統計情報、モデルとデータセット監査に関する貴重な洞察を提供する。 ベンチマークでは,1つの測定値に基づかないことの必要性を強調し,微細なmIoUsが大きな物体への偏りを減少させることを確認した。
  論文  参考訳（メタデータ） (2023-10-30T03:45:15Z)
• Where's the Point? Self-Supervised Multilingual Punctuation-Agnostic Sentence Segmentation [65.6736056006381]
  85言語を対象とした多言語句読解文セグメンテーション法を提案する。 提案手法は,従来の最良文分割ツールを平均6.1%F1ポイントで上回っている。 MTモデルの訓練に使用するセグメンテーションと文のセグメンテーションを一致させる手法を用いて,平均2.3BLEU点の改善を実現する。
  論文  参考訳（メタデータ） (2023-05-30T09:49:42Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
  本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。 文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。 この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
  論文  参考訳（メタデータ） (2022-08-01T17:58:05Z)
• EMScore: Evaluating Video Captioning via Coarse-Grained and Fine-Grained Embedding Matching [90.98122161162644]
  現在のビデオキャプションの指標は、主に参照キャプションと候補キャプションのテキストレベルの比較に基づいている。 EMScore(Embedding Matching-based score)を提案する。 我々は、よく訓練された視覚言語モデルを用いて、EMScore 計算のための視覚的および言語的埋め込みを抽出する。
  論文  参考訳（メタデータ） (2021-11-17T06:02:43Z)
• Rethinking Semantic Segmentation Evaluation for Explainability and Model Selection [12.786648212233116]
  地域ベースのオーバーおよびアンダーセグメンテーションを評価するための新しいメトリクスを紹介します。 分析して他のメトリクスと比較し、実世界のアプリケーションにおけるセマンティックセグメンテーションモデルのパフォーマンスをより説明しやすくなることを示す。
  論文  参考訳（メタデータ） (2021-01-21T03:12:43Z)
• SegGroup: Seg-Level Supervision for 3D Instance and Semantic Segmentation [88.22349093672975]
  アノテーションの場所を示すためにインスタンス毎に1つのポイントをクリックするだけでよい、弱い教師付きポイントクラウドセグメンテーションアルゴリズムを設計します。 事前処理のオーバーセグメンテーションにより、これらの位置アノテーションをセグレベルのラベルとしてセグメントに拡張する。 seg-level supervised method (SegGroup) は、完全注釈付きポイントレベルのsupervised method で比較結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-12-18T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。