論文の概要: A Sentiment Consolidation Framework for Meta-Review Generation
- arxiv url: http://arxiv.org/abs/2402.18005v2
- Date: Tue, 4 Jun 2024 16:10:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 12:38:37.465833
- Title: A Sentiment Consolidation Framework for Meta-Review Generation
- Title（参考訳）: メタレビュー生成のための感性統合フレームワーク
- Authors: Miao Li, Jey Han Lau, Eduard Hovy,
- Abstract要約: 我々は、科学的領域に対する感情要約の一形態であるメタレビュー生成に焦点を当てる。
本稿ではメタレビューを生成するために,大規模言語モデルのための新しいプロンプト手法を提案する。
- 参考スコア（独自算出の注目度）: 40.879419691373826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern natural language generation systems with Large Language Models (LLMs) exhibit the capability to generate a plausible summary of multiple documents; however, it is uncertain if they truly possess the capability of information consolidation to generate summaries, especially on documents with opinionated information. We focus on meta-review generation, a form of sentiment summarisation for the scientific domain. To make scientific sentiment summarization more grounded, we hypothesize that human meta-reviewers follow a three-layer framework of sentiment consolidation to write meta-reviews. Based on the framework, we propose novel prompting methods for LLMs to generate meta-reviews and evaluation metrics to assess the quality of generated meta-reviews. Our framework is validated empirically as we find that prompting LLMs based on the framework -- compared with prompting them with simple instructions -- generates better meta-reviews.
- Abstract（参考訳）: 大規模言語モデル(LLM)を用いた現代自然言語生成システムは,複数の文書のもっともらしい要約を生成する能力を示しているが,特に意見情報のある文書において,要約を生成するための情報統合の能力を持っているかどうかは定かではない。
我々は、科学的領域に対する感情要約の一形態であるメタレビュー生成に焦点を当てる。
科学的感情の要約をより基礎づけるために、人間のメタリビューアは、メタリビューを書くために三層的な感情統合の枠組みに従うことを仮定する。
そこで本研究では,LLMのメタレビュー作成のための新しいプロンプト手法を提案し,メタレビューの質を評価するための評価指標を提案する。
私たちのフレームワークは、単純な命令で LLM をプロンプトするよりも、フレームワークに基づいて LLM をプロンプトする方が、より優れたメタレビューを生成するという経験的な検証がなされています。
関連論文リスト
- Meta Knowledge for Retrieval Augmented Large Language Models [0.0]
大規模言語モデル(LLM)のための新しいデータ中心型RAGワークフローを提案する。
提案手法は,各文書にメタデータと合成質問文(QA)を生成することに依存する。
合成質問マッチングによる拡張クエリの使用は、従来のRAGパイプラインよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-08-16T20:55:21Z) - Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。
モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。
提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
論文 参考訳（メタデータ） (2024-02-28T16:35:52Z) - Prompting LLMs to Compose Meta-Review Drafts from Peer-Review Narratives
of Scholarly Manuscripts [6.2701471990853594]
大規模言語モデル(LLM)は、複数の専門家によるピアレビューの物語に基づいてメタレビューを生成することができる。
本稿では,3つのLLMを用いてメタレビューを自動的に生成するケーススタディを行う。
論文 参考訳（メタデータ） (2024-02-23T20:14:16Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - Knowledge-Centric Templatic Views of Documents [2.654058995940072]
著者はしばしば、スライドデッキ、ニュースレター、レポート、ポスターなど、様々な文書形式でアイデアを共有している。
文書生成装置の品質測定に適応できる新しい統一評価フレームワークを提案する。
人間の評価を行い,提案手法を用いて作成した文書の82%を利用者が好んでいることを示す。
論文 参考訳（メタデータ） (2024-01-13T01:22:15Z) - Absformer: Transformer-based Model for Unsupervised Multi-Document
Abstractive Summarization [1.066048003460524]
MDS(Multi-document summarization)とは、複数の文書のテキストを簡潔な要約に要約する作業である。
抽象MDSは、自然言語生成技術を用いて、複数の文書の一貫性と流動性を備えた要約を生成することを目的としている。
本稿では、教師なし抽象要約生成のためのトランスフォーマーに基づく新しい手法であるAbsformerを提案する。
論文 参考訳（メタデータ） (2023-06-07T21:18:23Z) - Summarizing Multiple Documents with Conversational Structure for
Meta-Review Generation [45.9443710073576]
学術論文のメタレビューを作成するための新しいデータセットであるPeerSumを提示する。
Rammerは、会話構造に基づくスパースアテンションと、メタデータ機能を予測するトレーニング目標を利用するモデルである。
論文 参考訳（メタデータ） (2023-05-02T15:18:18Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-27T10:40:59Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳（メタデータ） (2022-05-23T11:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。