Fugu-MT 論文翻訳(概要): Sensitivity of BLANC to human-scored qualities of text summaries

論文の概要: Sensitivity of BLANC to human-scored qualities of text summaries

arxiv url: http://arxiv.org/abs/2010.06716v1
Date: Tue, 13 Oct 2020 22:08:11 GMT
ステータス: 処理完了
システム内更新日: 2022-10-07 23:48:01.192352
Title: Sensitivity of BLANC to human-scored qualities of text summaries
Title（参考訳）: テキスト要約の人肉品質に対するブランの感度
Authors: Oleg Vasilyev, Vedant Dharnidharka, Nicholas Egan, Charlene Chambliss, John Bohannon
Abstract要約: 要約がいかに流動的で、理解可能で、情報的で、コンパクトで、実際に正しいかによって定義される5つの要約品質を区別する。我々は,BLANCパラメータを最適に用いて,BLANCのほぼすべての要約品質に対する感度は,人間のアノテーションの感度に匹敵するものとみなす。
参考スコア（独自算出の注目度）: 12.074552857379274
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We explore the sensitivity of a document summary quality estimator, BLANC, to human assessment of qualities for the same summaries. In our human evaluations, we distinguish five summary qualities, defined by how fluent, understandable, informative, compact, and factually correct the summary is. We make the case for optimal BLANC parameters, at which the BLANC sensitivity to almost all of summary qualities is about as good as the sensitivity of a human annotator.
Abstract（参考訳）: 文書要約品質推定器である blanc の人間による品質評価に対する感度について検討した。人間の評価では,要約がいかに流動的で,理解可能で,情報的,コンパクトで,事実的に正しいかによって,5つの要約品質を区別する。我々は,BLANCパラメータを最適に用いて,BLANCのほぼすべてのサマリ品質に対する感度は,人間のアノテータの感度と同程度であることを示す。

関連論文リスト

Latent Space Interpretation for Stylistic Analysis and Explainable Authorship Attribution [37.39889080833109]
最近の最先端の著者帰属法は、潜在的で非解釈可能な空間におけるテキストの著者表現を学習する。本研究は,潜伏空間における代表点を特定することによって,これらの学習された埋め込みを解釈する新しい手法を提案する。我々は各点の書き方に関する情報的な自然言語記述を生成する。
論文参考訳（メタデータ） (2024-09-11T07:48:06Z)
What Makes a Good Story and How Can We Measure It? A Comprehensive Survey of Story Evaluation [57.550045763103334]
ストーリーを評価することは、他の世代の評価タスクよりも難しい場合があります。まず、テキスト・トゥ・テキスト、ビジュアル・トゥ・テキスト、テキスト・トゥ・ビジュアルといった既存のストーリーテリングタスクを要約する。本研究では,これまで開発されてきた,あるいはストーリー評価に応用可能な評価指標を整理する分類法を提案する。
論文参考訳（メタデータ） (2024-08-26T20:35:42Z)
Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [62.32403630651586]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。 ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文参考訳（メタデータ） (2024-03-01T21:59:03Z)
Is Summary Useful or Not? An Extrinsic Human Evaluation of Text Summaries on Downstream Tasks [45.550554287918885]
本稿では,外部手法によるテキスト要約の有用性の評価に焦点をあてる。我々は,要約の人間的評価,すなわち質問応答,テキスト分類,テキスト類似性評価のための3つの異なる下流タスクを設計する。要約はテキストの全体的判断に依存するタスクにおいて特に有用であるが、質問応答タスクでは効果が低い。
論文参考訳（メタデータ） (2023-05-24T11:34:39Z)
Human-in-the-loop Abstractive Dialogue Summarization [61.4108097664697]
我々は、異なるレベルの人間のフィードバックをトレーニングプロセスに組み込むことを提案する。これにより、モデルをガイドして、人間が要約に用いている振る舞いを捉えることができます。
論文参考訳（メタデータ） (2022-12-19T19:11:27Z)
Transparent Human Evaluation for Image Captioning [70.03979566548823]
画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
論文参考訳（メタデータ） (2021-11-17T07:09:59Z)
Towards Human-Free Automatic Quality Evaluation of German Summarization [0.0]
この作品は、英語以外の言語にBLANCメトリックを調整する方法を示しています。私たちは、BLANCスコアと群衆と専門家の評価、およびドイツの要約データセットで一般的に使用される自動メトリクスを比較します。以上の結果から,ドイツ語のBLANCは情報性の評価に特に有用であることが示唆された。
論文参考訳（メタデータ） (2021-05-13T01:29:33Z)
Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning [66.30909748400023]
教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
論文参考訳（メタデータ） (2020-10-05T05:04:14Z)
Fill in the BLANC: Human-free quality estimation of document summaries [11.92436948211501]
本稿では,文書要約品質の自動推定手法であるBLANCを提案する。 BLANCスコアは、ROUGEファミリーの要約品質測定と同様、人間の評価と良好な相関関係を持つ。
論文参考訳（メタデータ） (2020-02-23T06:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。