論文の概要: SummVis: Interactive Visual Analysis of Models, Data, and Evaluation for
Text Summarization
- arxiv url: http://arxiv.org/abs/2104.07605v1
- Date: Thu, 15 Apr 2021 17:13:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 14:59:08.800782
- Title: SummVis: Interactive Visual Analysis of Models, Data, and Evaluation for
Text Summarization
- Title(参考訳): summvis:テキスト要約のためのモデル、データ、および評価のインタラクティブなビジュアル分析
- Authors: Jesse Vig, Wojciech Kryscinski, Karan Goel, Nazneen Fatema Rajani
- Abstract要約: SummVisは抽象要約を視覚化するためのオープンソースツールです。
テキスト要約に関連するモデル、データ、評価メトリクスの詳細な分析を可能にする。
- 参考スコア(独自算出の注目度): 14.787106201073154
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novel neural architectures, training strategies, and the availability of
large-scale corpora haven been the driving force behind recent progress in
abstractive text summarization. However, due to the black-box nature of neural
models, uninformative evaluation metrics, and scarce tooling for model and data
analysis, the true performance and failure modes of summarization models remain
largely unknown. To address this limitation, we introduce SummVis, an
open-source tool for visualizing abstractive summaries that enables
fine-grained analysis of the models, data, and evaluation metrics associated
with text summarization. Through its lexical and semantic visualizations, the
tools offers an easy entry point for in-depth model prediction exploration
across important dimensions such as factual consistency or abstractiveness. The
tool together with several pre-computed model outputs is available at
https://github.com/robustness-gym/summvis.
- Abstract(参考訳): 新しいニューラルアーキテクチャ、トレーニング戦略、大規模コーパスの可用性は、抽象的テキスト要約の最近の進歩の原動力となっている。
しかしながら、ニューラルモデルのブラックボックスの性質、予測不能な評価指標、モデルとデータ分析のためのツール不足のため、要約モデルの真のパフォーマンスと失敗モードはほとんど不明である。
この制限に対処するため,抽象要約を可視化するオープンソースツールであるSummVisを導入し,テキスト要約に関連するモデル,データ,評価指標のきめ細かい分析を可能にする。
語彙的および意味的な視覚化を通じて、このツールは、事実整合性や抽象性といった重要な次元をまたいだ詳細なモデル予測のための簡単なエントリポイントを提供する。
このツールといくつかの事前計算されたモデル出力はhttps://github.com/robustness-gym/summvis.comで入手できる。
関連論文リスト
- mlr3summary: Concise and interpretable summaries for machine learning models [9.191045750996524]
この研究は、機械学習モデルの簡潔で情報的な要約のための新しいRパッケージを導入している。
我々は、R 内の(一般化された)線型モデルに対する要約関数からインスピレーションを得るが、それをいくつかの方向に拡張する。
論文 参考訳(メタデータ) (2024-04-25T08:57:35Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - Summary Workbench: Unifying Application and Evaluation of Text
Summarization Models [24.40171915438056]
新しいモデルと評価基準は、Dockerベースのプラグインとして簡単に統合できる。
複数の測度を組み合わせた視覚分析は、モデルの強みと弱みに関する洞察を与える。
論文 参考訳(メタデータ) (2022-10-18T04:47:25Z) - FACT: Learning Governing Abstractions Behind Integer Sequences [7.895232155155041]
完全なフィニシャルな記述を認める概念の学習に関する新しい見解を紹介する。
機械学習モデルによる概念理解を目的としたベンチマークタスクのセットを配置する。
知識表現と推論の研究をさらに支援するため,FACT(Finitary Abstraction Toolkit)を提案する。
論文 参考訳(メタデータ) (2022-09-20T08:20:03Z) - Unsupervised Opinion Summarization with Content Planning [58.5308638148329]
要約モデルにコンテンツプランニングを明示的に組み込むことで、より高い品質のアウトプットが得られることを示す。
また、より自然な合成データセットを作成し、実世界の文書と要約のペアに似ている。
当社のアプローチは,情報的,一貫性,流動的な要約を生成する上で,競争モデルよりも優れています。
論文 参考訳(メタデータ) (2020-12-14T18:41:58Z) - Topic-Guided Abstractive Text Summarization: a Joint Learning Approach [19.623946402970933]
本稿では,抽象テキスト要約のための新しいアプローチ,トピックガイドによる抽象要約を提案する。
ニューラルネットワークをTransformerベースのシーケンス・ツー・シーケンス(seq2seq)モデルに結合学習フレームワークに組み込むことが目的だ。
論文 参考訳(メタデータ) (2020-10-20T14:45:25Z) - CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural
Summarization Systems [121.78477833009671]
データセット間設定下での様々な要約モデルの性能について検討する。
異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
論文 参考訳(メタデータ) (2020-10-11T02:19:15Z) - Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。
我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。
実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
論文 参考訳(メタデータ) (2020-10-06T02:51:02Z) - On Faithfulness and Factuality in Abstractive Summarization [17.261247316769484]
我々は抽象文書要約のためのニューラルテキスト生成モデルの制約を解析した。
これらのモデルは、入力文書に反するコンテンツを幻覚させる傾向にあることがわかった。
テキスト・エンタテインメントの指標は,標準指標よりも忠実度と相関性が高いことを示す。
論文 参考訳(メタデータ) (2020-05-02T00:09:16Z) - Few-Shot Learning for Opinion Summarization [117.70510762845338]
オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。
本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。
提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
論文 参考訳(メタデータ) (2020-04-30T15:37:38Z) - Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。
テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文 参考訳(メタデータ) (2020-04-21T16:54:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。