論文の概要: Reviewer2: Optimizing Review Generation Through Prompt Generation
- arxiv url: http://arxiv.org/abs/2402.10886v1
- Date: Fri, 16 Feb 2024 18:43:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 14:37:51.135120
- Title: Reviewer2: Optimizing Review Generation Through Prompt Generation
- Title(参考訳): Reviewer2: プロンプト生成によるレビュー生成の最適化
- Authors: Zhaolin Gao, Kiant\'e Brantley, Thorsten Joachims
- Abstract要約: 本稿では、Reviewer2と呼ばれる効率的な2段階レビュー生成フレームワークを提案する。
従来の作業とは異なり、このアプローチは、レビューが対処する可能性のある側面の分布を明示的にモデル化する。
アスペクトプロンプトでアノテートした27k論文と99kレビューの大規模なレビューデータセットを生成します。
- 参考スコア(独自算出の注目度): 27.379753994272875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent developments in LLMs offer new opportunities for assisting authors in
improving their work. In this paper, we envision a use case where authors can
receive LLM-generated reviews that uncover weak points in the current draft.
While initial methods for automated review generation already exist, these
methods tend to produce reviews that lack detail, and they do not cover the
range of opinions that human reviewers produce. To address this shortcoming, we
propose an efficient two-stage review generation framework called Reviewer2.
Unlike prior work, this approach explicitly models the distribution of possible
aspects that the review may address. We show that this leads to more detailed
reviews that better cover the range of aspects that human reviewers identify in
the draft. As part of the research, we generate a large-scale review dataset of
27k papers and 99k reviews that we annotate with aspect prompts, which we make
available as a resource for future research.
- Abstract(参考訳): LLMの最近の発展は、著者の作業改善を支援する新しい機会を提供する。
本稿では、著者が現在のドラフトの弱点を明らかにするllm生成レビューを受けることができるユースケースを想定する。
自動レビュー生成の初期手法はすでに存在するが、これらの手法は詳細を欠いたレビューを生成する傾向にあり、人間のレビュー作成者による意見の範囲をカバーしていない。
この欠点に対処するため,我々はreviewer2と呼ばれる効率的な2段階レビュー生成フレームワークを提案する。
以前の作業とは異なり、このアプローチはレビューが対処する可能性のあるアスペクトの分布を明示的にモデル化する。
これによって、より詳細なレビューが、ドラフトで人間レビュアーが特定する側面の範囲をカバーできることが示されます。
研究の一環として,27k論文の大規模レビューデータセットと,アスペクトプロンプトに注釈を付ける9kレビューを作成し,今後の研究のリソースとして利用できるようにした。
関連論文リスト
- A Literature Review of Literature Reviews in Pattern Analysis and
Machine Intelligence [62.90682521144006]
この分析は、様々な観点からPAMI分野のレビューを徹底的にレビューすることを目的としている。
書評を自動評価するために,大規模言語モデルを用いた書評指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
論文 参考訳(メタデータ) (2024-02-20T11:28:50Z) - Improving Code Reviewer Recommendation: Accuracy, Latency, Workload, and
Bystanders [6.538051328482194]
当社は2018年のRevRecV1以降生産されているレコメンデータを構築しています。
私たちは、レビュアーがファイルの以前のオーサシップに基づいて割り当てられていることに気付きました。
レビューに責任を持つ個人を持つことは、レビューにかかる時間を11%削減する。
論文 参考訳(メタデータ) (2023-12-28T17:55:13Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - Scientific Opinion Summarization: Meta-review Generation with
Checklist-guided Iterative Introspection [61.99041542129813]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
39のカンファレンスから10,989のペーパーメタレビューと40,903のペーパーレビューをカバーする新しいORSUMデータセットを紹介した。
結論として,(1) 人書き要約はガイドラインに従わないものが多いため,必ずしも信頼できないものであって,(2) 課題分解と反復的自己調整の組み合わせは,有望な議論参加能力を示している。
論文 参考訳(メタデータ) (2023-05-24T02:33:35Z) - Benchmarking Large Language Models for News Summarization [79.37850439866938]
大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。
LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
論文 参考訳(メタデータ) (2023-01-31T18:46:19Z) - Towards Personalized Review Summarization by Modeling Historical Reviews
from Customer and Product Separately [59.61932899841944]
レビュー要約(review summarization)は、Eコマースのウェブサイトで製品レビューのメインの考え方を要約することを目的とした、簡単ではないタスクである。
Heterogeneous Historical Review aware Review Summarization Model (HHRRS)を提案する。
我々は、レビュー感情分類と要約を共同で行うマルチタスクフレームワークを採用している。
論文 参考訳(メタデータ) (2023-01-27T12:32:55Z) - MOPRD: A multidisciplinary open peer review dataset [12.808751859133064]
オープン・ピア・レビューは学術出版物で増加傾向にある。
既存のピアレビューデータセットのほとんどは、ピアレビュープロセス全体をカバーするデータを提供していません。
複数分野のオープンピアレビューデータセットMOPRDを構築した。
論文 参考訳(メタデータ) (2022-12-09T16:35:14Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳(メタデータ) (2021-01-30T07:16:53Z) - How Useful are Reviews for Recommendation? A Critical Review and
Potential Improvements [8.471274313213092]
本稿では,レビューテキストを用いてレコメンデーションシステムの改善を目指す,新たな作業体系について検討する。
実験条件やデータ前処理に変化はあるものの, 論文間で結果がコピーされていることから, 報告結果にいくつかの相違点がみられた。
さらなる調査では、リコメンデーションのためのユーザレビューの"重要"に関して、はるかに大きな問題に関する議論が求められている。
論文 参考訳(メタデータ) (2020-05-25T16:30:05Z) - State-of-Art-Reviewing: A Radical Proposal to Improve Scientific
Publication [19.10668029301668]
State-Of-the-Art Review (SOAR)は、ピアレビューの'plug-and-play'代替として機能する新奇なレビューパイプラインである。
私たちのアプローチの核心は、レビュープロセスが多目的で、大規模に分散し、非常に高いレイテンシの最適化である、という解釈です。
論文 参考訳(メタデータ) (2020-03-31T17:58:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。