論文の概要: Does Summary Evaluation Survive Translation to Other Languages?
- arxiv url: http://arxiv.org/abs/2109.08129v1
- Date: Thu, 16 Sep 2021 17:35:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-17 14:01:14.600335
- Title: Does Summary Evaluation Survive Translation to Other Languages?
- Title(参考訳): 要約評価は他言語への翻訳に耐えられるか?
- Authors: Neslihan Iskender, Oleg Vasilyev, Tim Polzehl, John Bohannon,
Sebastian M\"oller
- Abstract要約: 既存の英語要約データセット SummEval を4言語に翻訳する。
本研究は,翻訳言語における自動評価指標のスコアと,ソース言語における人間のアノテーションとの相関から分析する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The creation of a large summarization quality dataset is a considerable,
expensive, time-consuming effort, requiring careful planning and setup. It
includes producing human-written and machine-generated summaries and evaluation
of the summaries by humans, preferably by linguistic experts, and by automatic
evaluation tools. If such effort is made in one language, it would be
beneficial to be able to use it in other languages. To investigate how much we
can trust the translation of such dataset without repeating human annotations
in another language, we translated an existing English summarization dataset,
SummEval dataset, to four different languages and analyzed the scores from the
automatic evaluation metrics in translated languages, as well as their
correlation with human annotations in the source language. Our results reveal
that although translation changes the absolute value of automatic scores, the
scores keep the same rank order and approximately the same correlations with
human annotations.
- Abstract(参考訳): 大規模な要約品質データセットの作成は、慎重な計画とセットアップを必要とする、かなりのコストと時間を要する作業である。
人文および機械による要約の作成と、人間による要約の評価、好ましくは言語の専門家による評価、自動評価ツールによる評価を含む。
もしそのような努力が1つの言語でなされたら、他の言語でそれを使うことが有益でしょう。
他の言語での人間のアノテーションを繰り返すことなく、そのようなデータセットの翻訳をどれだけ信頼できるかを調べるため、既存の英語要約データセット SummEval を4つの言語に翻訳し、翻訳言語における自動評価指標からスコアを分析し、ソース言語における人間のアノテーションとの相関を調べた。
結果から,翻訳は自動スコアの絶対値を変化させるが,スコアは同じランクの順で,人間のアノテーションとほぼ同じ相関を保っていることがわかった。
関連論文リスト
- SEAHORSE: A Multilingual, Multifaceted Dataset for Summarization
Evaluation [52.186343500576214]
本稿では,多言語・多面的要約評価のためのデータセットSEAHORSEを紹介する。
SEAHORSEは、テキスト品質の6次元に沿って人間格付けされた96Kの要約で構成されている。
本稿では,SEAHORSEでトレーニングしたメトリクスが,ドメイン外メタ評価ベンチマークTRUEとmFACEで高い性能を示すことを示す。
論文 参考訳(メタデータ) (2023-05-22T16:25:07Z) - mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。
有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。
事実整合性評価モデルを利用して、多言語要約を改善する。
論文 参考訳(メタデータ) (2022-12-20T19:52:41Z) - Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization [80.94424037751243]
ゼロショット多言語抽出テキスト要約では、通常、モデルは英語のデータセットに基づいて訓練され、他の言語の要約データセットに適用される。
本研究では,NLS(Neural Label Search for Summarization)を提案する。
我々はMLSUMとWikiLinguaのデータセット上で多言語ゼロショット要約実験を行い、人間と自動両方の評価を用いて最先端の結果を得る。
論文 参考訳(メタデータ) (2022-04-28T14:02:16Z) - Evaluating the Efficacy of Summarization Evaluation across Languages [33.46519116869276]
我々は8つの異なる言語に対する要約コーパスを取り、フォーカス(精度)とカバレッジ(リコール)のために手動で生成された要約を注釈付けする。
BERTScoreにおける多言語BERTの使用は、英語よりも高いレベルにおいて、すべての言語でうまく機能することがわかった。
論文 参考訳(メタデータ) (2021-06-02T21:28:01Z) - Backretrieval: An Image-Pivoted Evaluation Metric for Cross-Lingual Text
Representations Without Parallel Corpora [19.02834713111249]
Backretrievalは、注釈付きデータセットの地上の真実メトリクスと相関している。
本実験は,並列言語間データを用いないレシピデータセットのケーススタディで締めくくった。
論文 参考訳(メタデータ) (2021-05-11T12:14:24Z) - Improving Cross-Lingual Reading Comprehension with Self-Training [62.73937175625953]
現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。
前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。
本稿では,ラベルのないデータを利用して性能を向上する。
論文 参考訳(メタデータ) (2021-05-08T08:04:30Z) - TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。
普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。
TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文 参考訳(メタデータ) (2021-03-21T17:20:38Z) - Cross-lingual Approach to Abstractive Summarization [0.0]
言語間モデル転送は低リソース言語でうまく適用できる。
深層ニューラルネットワークとシークエンス・トゥ・シークエンスアーキテクチャに基づく事前学習型英語要約モデルを用いた。
対象言語データに異なる比率のモデルを開発し,微調整を行った。
論文 参考訳(メタデータ) (2020-12-08T09:30:38Z) - Curious Case of Language Generation Evaluation Metrics: A Cautionary
Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。
これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。
本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文 参考訳(メタデータ) (2020-10-26T13:57:20Z) - WikiLingua: A New Benchmark Dataset for Cross-Lingual Abstractive
Summarization [41.578594261746055]
ウィキリンガ(WikiLingua)は,言語間抽象要約システムの評価のための大規模多言語データセットである。
ウィキハウ(WikiHow)は,人文者によって書かれた多種多様なトピックに関するハウツーガイドの高品質で協調的な資料である。
我々は、各記事のハウツーステップを記述するために使用されるイメージをアライメントすることで、言語間でのゴールドスタンダードな記事要約アライメントを作成する。
論文 参考訳(メタデータ) (2020-10-07T00:28:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。