論文の概要: Automatically Evaluating Opinion Prevalence in Opinion Summarization
- arxiv url: http://arxiv.org/abs/2307.14305v1
- Date: Wed, 26 Jul 2023 17:13:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-27 11:52:31.936839
- Title: Automatically Evaluating Opinion Prevalence in Opinion Summarization
- Title（参考訳）: 意見要約における意見の有病率の自動評価
- Authors: Christopher Malon
- Abstract要約: 本稿では,要約が示す意見の正当性をテストするための自動尺度を提案する。
本稿では,要約文の事実整合性を評価するための既存手法について考察する。
本研究は, 著者による要約では, ランダムに選択した抽出結果よりも, わずかに優れた評価率しか得られていないことを示す。
- 参考スコア（独自算出の注目度）: 0.9971537447334835
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: When faced with a large number of product reviews, it is not clear that a
human can remember all of them and weight opinions representatively to write a
good reference summary. We propose an automatic metric to test the prevalence
of the opinions that a summary expresses, based on counting the number of
reviews that are consistent with each statement in the summary, while
discrediting trivial or redundant statements. To formulate this opinion
prevalence metric, we consider several existing methods to score the factual
consistency of a summary statement with respect to each individual source
review. On a corpus of Amazon product reviews, we gather multiple human
judgments of the opinion consistency, to determine which automatic metric best
expresses consistency in product reviews. Using the resulting opinion
prevalence metric, we show that a human authored summary has only slightly
better opinion prevalence than randomly selected extracts from the source
reviews, and previous extractive and abstractive unsupervised opinion
summarization methods perform worse than humans. We demonstrate room for
improvement with a greedy construction of extractive summaries with twice the
opinion prevalence achieved by humans. Finally, we show that preprocessing
source reviews by simplification can raise the opinion prevalence achieved by
existing abstractive opinion summarization systems to the level of human
performance.
- Abstract（参考訳）: 多数の製品レビューに直面した場合、人間がそれらすべてを思い出し、適切な参照要約を書くために、重み付けの意見を代表的に書けるかどうかははっきりしない。
本稿では,要約中の各文に一致したレビュー数をカウントし,自明な文や冗長な文を認識しながら,要約が表現する意見の正当性をテストするための自動尺度を提案する。
この評価指標を定式化するために,個々のソースレビューに対して要約文の事実整合性を評価するための既存の手法をいくつか検討する。
Amazon製品レビューのコーパスでは、意見整合性の複数の人的判断を集め、製品レビューでどの自動指標が一貫性を表現するかを決定する。
その結果, 提案手法は, 従来の抽出的, 抽象的, 非教師的意見要約法よりも, 著者による要約の方が, ランダムに選択された抽出結果よりもわずかに優れた評価率を示した。
我々は,人間による2倍の論評率を持つ抽出要約の欲張りな構成により,改善の余地を示す。
最後に,従来の抽象的な意見要約システムによって達成された意見の妥当性を人的パフォーマンスのレベルに引き上げることができることを示す。
関連論文リスト
- GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。
従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
論文 参考訳（メタデータ） (2024-06-11T15:27:01Z) - Rationale-based Opinion Summarization [23.39553692130953]
本稿では,レビューを要約する新たなパラダイム,理性に基づく意見要約を提案する。
関係性、特異性、人気度、多様性の4つの望ましい特性を定義します。
適切な合理性を抽出するために、関係性、特異性、人気度、多様性の4つの望ましい特性を定義した。
論文 参考訳（メタデータ） (2024-03-30T02:22:57Z) - One Prompt To Rule Them All: LLMs for Opinion Summary Evaluation [30.674896082482476]
我々は,Op-I-Promptが,人間との平均スピアマン相関を0。
我々の知る限り、我々は、意見要約領域において、クローズドソースモデルとオープンソースモデルの両方において、LCMを評価対象として調査した最初の人物です。
論文 参考訳（メタデータ） (2024-02-18T19:13:52Z) - Incremental Extractive Opinion Summarization Using Cover Trees [81.59625423421355]
オンラインマーケットプレースでは、ユーザレビューは時間とともに蓄積され、意見要約を定期的に更新する必要がある。
本研究では,漸進的な環境下での抽出的意見要約の課題について検討する。
本稿では,CentroidRankの要約をインクリメンタルな設定で正確に計算するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-16T02:00:17Z) - Learning Opinion Summarizers by Selecting Informative Reviews [81.47506952645564]
31,000以上の製品のユーザレビューと組み合わせた大規模な要約データセットを収集し、教師付きトレーニングを可能にします。
多くのレビューの内容は、人間が書いた要約には反映されず、したがってランダムなレビューサブセットで訓練された要約者は幻覚する。
我々は、これらのサブセットで表現された意見を要約し、レビューの情報的サブセットを選択するための共同学習としてタスクを定式化する。
論文 参考訳（メタデータ） (2021-09-09T15:01:43Z) - A Training-free and Reference-free Summarization Evaluation Metric via
Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
トレーニング不要かつ参照不要な要約評価指標を提案する。
我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。
提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
論文 参考訳（メタデータ） (2021-06-26T05:11:27Z) - Unsupervised Reference-Free Summary Quality Evaluation via Contrastive
Learning [66.30909748400023]
教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。
具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。
ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-10-05T05:04:14Z) - SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
総合的かつ一貫した方法で14の自動評価指標を再評価する。
上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。
我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
論文 参考訳（メタデータ） (2020-07-24T16:25:19Z) - OpinionDigest: A Simple Framework for Opinion Summarization [22.596995566588422]
このフレームワークは、アスペクトベースの感性分析モデルを使用して、レビューから意見フレーズを抽出し、トランスフォーマーモデルを使用して、これらの抽出から元のレビューを再構築する。
選択された意見は、訓練されたトランスフォーマーモデルへの入力として使用され、それらが意見要約に言語化される。
OpinionDigestは、特定のユーザーのニーズに合わせてカスタマイズされた要約を生成することもできる。
論文 参考訳（メタデータ） (2020-05-05T01:22:29Z) - Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。
テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文 参考訳（メタデータ） (2020-04-21T16:54:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。