論文の概要: Meeting Summarization with Pre-training and Clustering Methods
- arxiv url: http://arxiv.org/abs/2111.08210v1
- Date: Tue, 16 Nov 2021 03:14:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-18 03:35:20.173600
- Title: Meeting Summarization with Pre-training and Clustering Methods
- Title(参考訳): 事前学習とクラスタリングによる要約会議
- Authors: Andras Huebner, Wei Ji, Xiang Xiao
- Abstract要約: HMNetcitehmnetは、ワードレベルのトランスフォーマーとターンレベルのトランスフォーマーの両方をベースラインとして使用する階層型ネットワークである。
中間クラスタリングステップでQMSumciteqmsumの位置列列化アプローチを拡張する。
ベースラインモデルの性能を,要約に有効な最先端言語モデルであるBARTと比較する。
- 参考スコア(独自算出の注目度): 6.47783315109491
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic meeting summarization is becoming increasingly popular these days.
The ability to automatically summarize meetings and to extract key information
could greatly increase the efficiency of our work and life. In this paper, we
experiment with different approaches to improve the performance of query-based
meeting summarization. We started with HMNet\cite{hmnet}, a hierarchical
network that employs both a word-level transformer and a turn-level
transformer, as the baseline. We explore the effectiveness of pre-training the
model with a large news-summarization dataset. We investigate adding the
embeddings of queries as a part of the input vectors for query-based
summarization. Furthermore, we experiment with extending the
locate-then-summarize approach of QMSum\cite{qmsum} with an intermediate
clustering step. Lastly, we compare the performance of our baseline models with
BART, a state-of-the-art language model that is effective for summarization. We
achieved improved performance by adding query embeddings to the input of the
model, by using BART as an alternative language model, and by using clustering
methods to extract key information at utterance level before feeding the text
into summarization models.
- Abstract(参考訳): 自動会議要約は近年ますます人気が高まっている。
ミーティングを自動的に要約し、重要な情報を抽出する能力は、作業と生活の効率を大幅に向上させます。
本稿では,クエリに基づく会議要約の性能向上のために,様々な手法を試行する。
我々は、単語レベル変換器とターンレベル変換器の両方をベースラインとする階層型ネットワークであるHMNet\cite{hmnet}から始めた。
大規模なニュース要約データセットを用いた事前学習の有効性について検討する。
本稿では,クエリに基づく要約のための入力ベクトルの一部として,クエリの埋め込みを追加することを検討する。
さらに、中間クラスタリングステップでQMSum\cite{qmsum} の位置推定アプローチを拡張する実験を行った。
最後に,ベースラインモデルの性能を,要約に有効な最先端言語モデルであるBARTと比較する。
モデルの入力にクエリ埋め込みを追加し,代替言語モデルとしてbartを使用し,要約モデルにテキストを入力する前に発話レベルでキー情報を抽出するクラスタリング手法を用いることで,パフォーマンスの向上を実現した。
関連論文リスト
- Exploring Category Structure with Contextual Language Models and Lexical
Semantic Networks [0.0]
我々は、典型値の予測のために、CLMを探索するためのより広い範囲の手法を試験する。
BERTを用いた実験では,CLMプローブの適切な利用の重要性が示された。
その結果, この課題における多義性の重要性が浮き彫りとなった。
論文 参考訳(メタデータ) (2023-02-14T09:57:23Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-03-15T01:24:51Z) - Text Summarization with Latent Queries [60.468323530248945]
本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。
本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。
本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
論文 参考訳(メタデータ) (2021-05-31T21:14:58Z) - Coarse-to-Fine Memory Matching for Joint Retrieval and Classification [0.7081604594416339]
共同検索と分類のための新しいエンドツーエンド言語モデルを提案する。
FEVERファクト検証データセットの標準ブラインドテストセットで評価する。
我々は、モデルを分析・制約するためのこの設定に、模範監査を拡張します。
論文 参考訳(メタデータ) (2020-11-29T05:06:03Z) - Fact-level Extractive Summarization with Hierarchical Graph Mask on BERT [9.271716501646194]
より優れた抽出要約のためのファクトレベルのセマンティックユニットを抽出することを提案する。
階層グラフマスクを用いてBERTにモデルを組み込む。
CNN/DaliyMailデータセットの実験は、我々のモデルが最先端の結果を得ることを示す。
論文 参考訳(メタデータ) (2020-11-19T09:29:51Z) - Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。
我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
論文 参考訳(メタデータ) (2020-10-10T14:03:20Z) - Semantically Driven Sentence Fusion: Modeling and Evaluation [27.599227950466442]
文融合は関連文をコヒーレントテキストに結合する作業である。
このタスクの現在のトレーニングと評価スキームは、単一の参照基盤構造に基づいている。
このことは、入力文間の意味的関係を頑健に把握することを妨げる。
論文 参考訳(メタデータ) (2020-10-06T10:06:01Z) - Extractive Summarization as Text Matching [123.09816729675838]
本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。
抽出した要約タスクを意味テキストマッチング問題として定式化する。
我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
論文 参考訳(メタデータ) (2020-04-19T08:27:57Z) - A Hierarchical Network for Abstractive Meeting Summarization with
Cross-Domain Pretraining [52.11221075687124]
本稿では,会議シナリオに適応する抽象的要約ネットワークを提案する。
提案手法は,長時間の会議記録に対応する階層構造と,話者間の差異を表現する役割ベクトルを設計する。
我々のモデルは、自動測定と人的評価の両方において、過去のアプローチよりも優れています。
論文 参考訳(メタデータ) (2020-04-04T21:00:41Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳(メタデータ) (2020-03-14T22:29:50Z) - Hybrid Attention-Based Transformer Block Model for Distant Supervision
Relation Extraction [20.644215991166902]
DSREタスクを実行するために,マルチインスタンス学習を用いたハイブリッドアテンションベースのトランスフォーマーブロックを用いた新しいフレームワークを提案する。
提案手法は評価データセットの最先端アルゴリズムより優れている。
論文 参考訳(メタデータ) (2020-03-10T13:05:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。