論文の概要: Meta-review Generation with Checklist-guided Iterative Introspection

• arxiv url: http://arxiv.org/abs/2305.14647v1
• Date: Wed, 24 May 2023 02:33:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 20:28:34.271807
• Title: Meta-review Generation with Checklist-guided Iterative Introspection
• Title（参考訳）: チェックリスト誘導反復検査によるメタレビュー生成
• Authors: Qi Zeng, Mankeerat Sidhu, Hou Pong Chan, Lu Wang, Heng Ji
• Abstract要約: 本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。 39のカンファレンスから10,989のペーパーメタレビューと40,903のペーパーレビューをカバーする新しいORSUMデータセットを紹介した。 結論として,(1)人書き要約はガイドラインに従わないものが多いため,必ずしも信頼できないものであって,(2)タスクの分解と反復的自己調整の組み合わせは,有望な議論参加能力を示している。
• 参考スコア（独自算出の注目度）: 50.57712564829599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Opinions in the scientific domain can be divergent, leading to controversy or consensus among reviewers. However, current opinion summarization datasets mostly focus on product review domains, which do not account for this variability under the assumption that the input opinions are non-controversial. To address this gap, we propose the task of scientific opinion summarization, where research paper reviews are synthesized into meta-reviews. To facilitate this task, we introduce a new ORSUM dataset covering 10,989 paper meta-reviews and 40,903 paper reviews from 39 conferences. Furthermore, we propose the Checklist-guided Iterative Introspection (CGI$^2$) approach, which breaks down the task into several stages and iteratively refines the summary under the guidance of questions from a checklist. We conclude that (1) human-written summaries are not always reliable since many do not follow the guideline, and (2) the combination of task decomposition and iterative self-refinement shows promising discussion involvement ability and can be applied to other complex text generation using black-box LLM.
• Abstract（参考訳）: 科学分野の意見は多様化し、レビュアーの間で論争やコンセンサスに繋がることがある。 しかし、現在の意見要約データセットは、主に製品レビュードメインに焦点を当てており、入力された意見が議論の余地がないという仮定の下では、この変動を考慮していない。 このギャップに対処するために,研究論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。 この作業を容易にするために,39のカンファレンスから10,989のペーパーメタレビューと40,903のペーパーレビューを対象とする新しいORSUMデータセットを導入した。 さらに,チェックリストによる反復的イントロスペクション(cgi$^2$)アプローチを提案する。 結論として,(1) 人書き要約はガイドラインに従わないことが多いため,必ずしも信頼できない。(2) タスクの分解と反復的自己複製の組み合わせは,有望な議論参加能力を示し,ブラックボックス LLM を用いた複雑なテキスト生成に適用可能である。

関連論文リスト

• GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
  本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。 従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
  論文  参考訳（メタデータ） (2024-06-11T15:27:01Z)
• CASIMIR: A Corpus of Scientific Articles enhanced with Multiple Author-Integrated Revisions [7.503795054002406]
  本稿では,学術論文の執筆過程の改訂段階について,原文資料を提案する。 この新しいデータセットはCASIMIRと呼ばれ、OpenReviewの15,646の科学論文の改訂版とピアレビューを含んでいる。
  論文  参考訳（メタデータ） (2024-03-01T03:07:32Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
  本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。 新たに登場したAI生成の文献レビューも評価されている。 この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• Incremental Extractive Opinion Summarization Using Cover Trees [81.59625423421355]
  オンラインマーケットプレースでは、ユーザレビューは時間とともに蓄積され、意見要約を定期的に更新する必要がある。 本研究では,漸進的な環境下での抽出的意見要約の課題について検討する。 本稿では,CentroidRankの要約をインクリメンタルな設定で正確に計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-16T02:00:17Z)
• When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews [24.875901048855077]
  本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。 我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
  論文  参考訳（メタデータ） (2023-10-28T11:57:51Z)
• Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
  本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。 実験の結果,既存手法と比較して精度が向上した。 この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
  論文  参考訳（メタデータ） (2022-11-08T12:18:02Z)
• Learning Opinion Summarizers by Selecting Informative Reviews [81.47506952645564]
  31,000以上の製品のユーザレビューと組み合わせた大規模な要約データセットを収集し、教師付きトレーニングを可能にします。 多くのレビューの内容は、人間が書いた要約には反映されず、したがってランダムなレビューサブセットで訓練された要約者は幻覚する。 我々は、これらのサブセットで表現された意見を要約し、レビューの情報的サブセットを選択するための共同学習としてタスクを定式化する。
  論文  参考訳（メタデータ） (2021-09-09T15:01:43Z)
• ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive Summarization with Argument Mining [61.82562838486632]
  我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。 我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
  論文  参考訳（メタデータ） (2021-06-01T22:17:13Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)
• Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
  本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。 第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。 また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
  論文  参考訳（メタデータ） (2020-06-05T07:06:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。