論文の概要: Exploring Multi-Document Information Consolidation for Scientific
Sentiment Summarization
- arxiv url: http://arxiv.org/abs/2402.18005v1
- Date: Wed, 28 Feb 2024 02:40:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 16:35:19.106298
- Title: Exploring Multi-Document Information Consolidation for Scientific
Sentiment Summarization
- Title(参考訳): 科学的感性要約のための多文書情報統合の探索
- Authors: Miao Li and Jey Han Lau and Eduard Hovy
- Abstract要約: 本稿では,ヒトのメタレビュアのピアレビューにおいて,メタレビュアを書くために,感情統合の3層フレームワークに従うことを示す。
生成したメタレビューの品質を評価するための評価指標を提案する。
- 参考スコア(独自算出の注目度): 45.9443710073576
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern natural language generation systems with LLMs exhibit the capability
to generate a plausible summary of multiple documents; however, it is uncertain
if models truly possess the ability of information consolidation to generate
summaries, especially on those source documents with opinionated information.
To make scientific sentiment summarization more grounded, we hypothesize that
in peer review human meta-reviewers follow a three-layer framework of sentiment
consolidation to write meta-reviews and it represents the logic of summarizing
scientific sentiments in meta-review generation. The framework is validated via
human annotation. Based on the framework, we propose evaluation metrics to
assess the quality of generated meta-reviews, and we find that the hypothesis
of the sentiment consolidation framework works out empirically when we
incorporate it as prompts for LLMs to generate meta-reviews in extensive
experiments.
- Abstract(参考訳): llmを用いた現代の自然言語生成システムは、複数の文書の正確な要約を生成する能力を示しているが、モデルが本当に要約を生成するための情報統合能力を持っているかどうかは不明である。
科学的感情の要約をより基礎づけるために,人間のメタレビュアはメタレビュアを書くための3層的な感情統合の枠組みを踏襲し,メタレビュア生成における科学的感情の要約の論理を表現する。
このフレームワークは人間のアノテーションによって検証される。
この枠組みに基づいて, 生成したメタレビューの質を評価するための評価指標を提案し, 広範囲な実験でメタレビューを生成するためのLSMのプロンプトとして, 感情統合フレームワークの仮説が実証的に有効であることを見出した。
関連論文リスト
- Prompting LLMs to Compose Meta-Review Drafts from Peer-Review Narratives
of Scholarly Manuscripts [6.2701471990853594]
大規模言語モデル(LLM)は、複数の専門家によるピアレビューの物語に基づいてメタレビューを生成することができる。
本稿では,3つのLLMを用いてメタレビューを自動的に生成するケーススタディを行う。
論文 参考訳(メタデータ) (2024-02-23T20:14:16Z) - Rethinking Scientific Summarization Evaluation: Grounding Explainable
Metrics on Facet-aware Benchmark [43.94573037950725]
本稿では,科学的要約の概念的および実験的分析について述べる。
要約を評価するために,先進的なセマンティックマッチングにLLMを用いたFacet-Aware Metric (FM)を導入する。
以上の結果から,FMは科学的要約を評価するためのより論理的なアプローチであることが明らかとなった。
論文 参考訳(メタデータ) (2024-02-22T07:58:29Z) - Exploring Precision and Recall to assess the quality and diversity of
LLMs [86.33540332994781]
本稿では,Llama-2やMistralといった大規模言語モデル(LLM)の新たな評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳(メタデータ) (2024-02-16T13:53:26Z) - Scientific Opinion Summarization: Meta-review Generation with
Checklist-guided Iterative Introspection [61.99041542129813]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
39のカンファレンスから10,989のペーパーメタレビューと40,903のペーパーレビューをカバーする新しいORSUMデータセットを紹介した。
結論として,(1) 人書き要約はガイドラインに従わないものが多いため,必ずしも信頼できないものであって,(2) 課題分解と反復的自己調整の組み合わせは,有望な議論参加能力を示している。
論文 参考訳(メタデータ) (2023-05-24T02:33:35Z) - Summarizing Multiple Documents with Conversational Structure for
Meta-Review Generation [45.9443710073576]
学術論文のメタレビューを作成するための新しいデータセットであるPeerSumを提示する。
Rammerは、会話構造に基づくスパースアテンションと、メタデータ機能を予測するトレーニング目標を利用するモデルである。
論文 参考訳(メタデータ) (2023-05-02T15:18:18Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-27T10:40:59Z) - Aspect-Controllable Opinion Summarization [58.5308638148329]
アスペクトクエリに基づいてカスタマイズした要約を生成する手法を提案する。
レビューコーパスを用いて、アスペクトコントローラで強化された(リビュー、サマリ)ペアの合成トレーニングデータセットを作成する。
合成データセットを用いて事前学習したモデルを微調整し、アスペクトコントローラを変更することでアスペクト固有の要約を生成する。
論文 参考訳(メタデータ) (2021-09-07T16:09:17Z) - Generating (Factual?) Narrative Summaries of RCTs: Experiments with
Neural Multi-Document Summarization [22.611879349101596]
系統的なレビューから,関連記事の要約を抽象的に要約するために,現代のニューラルモデルを評価する。
現代の要約システムは一貫して流動的で関連するシナプスを生み出すが、必ずしも現実的とは限らない。
論文 参考訳(メタデータ) (2020-08-25T22:22:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。