論文の概要: Scientific Opinion Summarization: Meta-review Generation with
Checklist-guided Iterative Introspection
- arxiv url: http://arxiv.org/abs/2305.14647v2
- Date: Mon, 13 Nov 2023 19:47:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 19:04:12.743337
- Title: Scientific Opinion Summarization: Meta-review Generation with
Checklist-guided Iterative Introspection
- Title(参考訳): 科学的意見要約:チェックリスト誘導反復検査によるメタレビュー生成
- Authors: Qi Zeng, Mankeerat Sidhu, Hou Pong Chan, Lu Wang, Heng Ji
- Abstract要約: 本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
39のカンファレンスから10,989のペーパーメタレビューと40,903のペーパーレビューをカバーする新しいORSUMデータセットを紹介した。
結論として,(1) 人書き要約はガイドラインに従わないものが多いため,必ずしも信頼できないものであって,(2) 課題分解と反復的自己調整の組み合わせは,有望な議論参加能力を示している。
- 参考スコア(独自算出の注目度): 61.99041542129813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Opinions in the scientific domain can be divergent, leading to controversy or
consensus among reviewers. However, current opinion summarization datasets
mostly focus on product review domains, which do not account for this
variability under the assumption that the input opinions are non-controversial.
To address this gap, we propose the task of scientific opinion summarization,
where research paper reviews are synthesized into meta-reviews. To facilitate
this task, we introduce a new ORSUM dataset covering 10,989 paper meta-reviews
and 40,903 paper reviews from 39 conferences. Furthermore, we propose the
Checklist-guided Iterative Introspection (CGI$^2$) approach, which breaks down
the task into several stages and iteratively refines the summary under the
guidance of questions from a checklist. We conclude that (1) human-written
summaries are not always reliable since many do not follow the guidelines, and
(2) the combination of task decomposition and iterative self-refinement shows
promising discussion involvement ability and can be applied to other complex
text generation using black-box LLM.
- Abstract(参考訳): 科学分野の意見は多様化し、レビュアーの間で論争やコンセンサスに繋がることがある。
しかし、現在の意見要約データセットは、主に製品レビュードメインに焦点を当てており、入力された意見が議論の余地がないという仮定の下では、この変動を考慮していない。
このギャップに対処するために,研究論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
この作業を容易にするために,39のカンファレンスから10,989のペーパーメタレビューと40,903のペーパーレビューを対象とする新しいORSUMデータセットを導入した。
さらに,チェックリストによる反復的イントロスペクション(cgi$^2$)アプローチを提案する。
結論として,(1) 人書き要約はガイドラインに従わないことが多いため,必ずしも信頼できない。(2) タスクの分解と反復的自己複製の組み合わせは,有望な議論参加能力を示し,ブラックボックス LLM を用いた複雑なテキスト生成に適用可能である。
関連論文リスト
- Exploring Multi-Document Information Consolidation for Scientific
Sentiment Summarization [45.9443710073576]
本稿では,ヒトのメタレビュアのピアレビューにおいて,メタレビュアを書くために,感情統合の3層フレームワークに従うことを示す。
生成したメタレビューの品質を評価するための評価指標を提案する。
論文 参考訳(メタデータ) (2024-02-28T02:40:09Z) - Incremental Extractive Opinion Summarization Using Cover Trees [85.68795720476359]
オンラインマーケットプレースでは、ユーザレビューは時間とともに増加し、意見要約を定期的に更新する必要がある。
最先端の抽出的意見要約アプローチの多くは、CentroidRankのような中心性に基づくものである。
本稿では,CentroidRankの要約をインクリメンタルな設定で正確に計算するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-16T02:00:17Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳(メタデータ) (2023-10-28T11:57:51Z) - Towards Personalized Review Summarization by Modeling Historical Reviews
from Customer and Product Separately [59.61932899841944]
レビュー要約(review summarization)は、Eコマースのウェブサイトで製品レビューのメインの考え方を要約することを目的とした、簡単ではないタスクである。
Heterogeneous Historical Review aware Review Summarization Model (HHRRS)を提案する。
我々は、レビュー感情分類と要約を共同で行うマルチタスクフレームワークを採用している。
論文 参考訳(メタデータ) (2023-01-27T12:32:55Z) - Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。
実験の結果,既存手法と比較して精度が向上した。
この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
論文 参考訳(メタデータ) (2022-11-08T12:18:02Z) - Learning Opinion Summarizers by Selecting Informative Reviews [81.47506952645564]
31,000以上の製品のユーザレビューと組み合わせた大規模な要約データセットを収集し、教師付きトレーニングを可能にします。
多くのレビューの内容は、人間が書いた要約には反映されず、したがってランダムなレビューサブセットで訓練された要約者は幻覚する。
我々は、これらのサブセットで表現された意見を要約し、レビューの情報的サブセットを選択するための共同学習としてタスクを定式化する。
論文 参考訳(メタデータ) (2021-09-09T15:01:43Z) - Near-Optimal Reviewer Splitting in Two-Phase Paper Reviewing and
Conference Experiment Design [76.40919326501512]
総割り当ての類似性を最大化するために、レビュアーを段階または条件に分けるにはどうすればいいのか?
実会議データに関連する複数のデータセットに対して、ランダムに位相/条件を均一に分割することで、オラクルの最適割り当てとほぼ同等の割り当てが可能であることを実証的に示す。
論文 参考訳(メタデータ) (2021-08-13T19:29:41Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳(メタデータ) (2021-01-30T07:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。