Fugu-MT 論文翻訳(概要): Summary Workbench: Unifying Application and Evaluation of Text Summarization Models

論文の概要: Summary Workbench: Unifying Application and Evaluation of Text Summarization Models

arxiv url: http://arxiv.org/abs/2210.09587v1
Date: Tue, 18 Oct 2022 04:47:25 GMT
ステータス: 処理完了
システム内更新日: 2022-10-19 14:40:47.041361
Title: Summary Workbench: Unifying Application and Evaluation of Text Summarization Models
Title（参考訳）: 要約 workbench: テキスト要約モデルのアプリケーションと評価の統合
Authors: Shahbaz Syed, Dominik Schwabe, Martin Potthast
Abstract要約: 新しいモデルと評価基準は、Dockerベースのプラグインとして簡単に統合できる。複数の測度を組み合わせた視覚分析は、モデルの強みと弱みに関する洞察を与える。
参考スコア（独自算出の注目度）: 24.40171915438056
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents Summary Workbench, a new tool for developing and evaluating text summarization models. New models and evaluation measures can be easily integrated as Docker-based plugins, allowing to examine the quality of their summaries against any input and to evaluate them using various evaluation measures. Visual analyses combining multiple measures provide insights into the models' strengths and weaknesses. The tool is hosted at \url{https://tldr.demo.webis.de} and also supports local deployment for private resources.
Abstract（参考訳）: 本稿では,テキスト要約モデルの開発と評価ツールであるサマリワークベンチを提案する。新しいモデルと評価基準は、dockerベースのプラグインとして簡単に統合でき、任意の入力に対するサマリーの品質を調べ、さまざまな評価尺度を使って評価することができる。複数の測度を組み合わせた視覚分析は、モデルの強みと弱みに関する洞察を与える。このツールは \url{https://tldr.demo.webis.de} でホストされ、プライベートリソースのローカルデプロイメントもサポートする。

関連論文リスト

Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文参考訳（メタデータ） (2024-02-16T13:53:26Z)
Evaluate & Evaluation on the Hub: Better Best Practices for Data and Model Measurements [167.73134600289603]
Assessmentは、データとモデルの計測、メトリクス、比較のためのベストプラクティスをサポートするライブラリである。ハブの評価は、75,000モデルと11,000データセットの大規模評価を可能にするプラットフォームである。
論文参考訳（メタデータ） (2022-09-30T18:35:39Z)
Podcast Summary Assessment: A Resource for Evaluating Summary Assessment Methods [42.08097583183816]
本稿では,新たなデータセット,ポッドキャスト要約評価コーパスについて述べる。このデータセットには、2つのユニークな側面がある: (i)ロングインプット、音声ポッドキャストベース、文書; (ii)ポッドキャストコーパスにおける不適切な参照要約を検出する機会。
論文参考訳（メタデータ） (2022-08-28T18:24:41Z)
NEWTS: A Corpus for News Topic-Focused Summarization [9.872518517174498]
本稿では,CNN/Dailymailデータセットに基づく最初の話題要約コーパスを提案する。提案手法の有効性を検証し,提案手法の有効性を検証した。
論文参考訳（メタデータ） (2022-05-31T10:01:38Z)
Summary Explorer: Visualizing the State of the Art in Text Summarization [23.45323725326221]
本稿では,テキスト要約システムの手動検査を支援する新しいツールであるSlide Explorerを紹介する。ツールの基本設計は、カスタマイズされた視覚化に基づくガイド付きアセスメントでカプセル化された、よく知られた3つの要約品質基準(カバレッジ、忠実さ、位置バイアス)を考慮する。
論文参考訳（メタデータ） (2021-08-04T07:11:19Z)
SummVis: Interactive Visual Analysis of Models, Data, and Evaluation for Text Summarization [14.787106201073154]
SummVisは抽象要約を視覚化するためのオープンソースツールです。テキスト要約に関連するモデル、データ、評価メトリクスの詳細な分析を可能にする。
論文参考訳（メタデータ） (2021-04-15T17:13:00Z)
Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning [66.30909748400023]
教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
論文参考訳（メタデータ） (2020-10-05T05:04:14Z)
SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
総合的かつ一貫した方法で14の自動評価指標を再評価する。上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
論文参考訳（メタデータ） (2020-07-24T16:25:19Z)
Few-Shot Learning for Opinion Summarization [117.70510762845338]
オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
論文参考訳（メタデータ） (2020-04-30T15:37:38Z)
Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文参考訳（メタデータ） (2020-04-21T16:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。