論文の概要: PeerArg: Argumentative Peer Review with LLMs
- arxiv url: http://arxiv.org/abs/2409.16813v1
- Date: Wed, 25 Sep 2024 11:09:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 04:30:14.854747
- Title: PeerArg: Argumentative Peer Review with LLMs
- Title（参考訳）: PeerArg: LLMによる説明的ピアレビュー
- Authors: Purin Sukpanichnant, Anna Rapberger, Francesca Toni,
- Abstract要約: 本稿では,ピアレビューのレビューと意思決定プロセスを支援する新しいパイプラインを提案する。
PeerArg システムは LLM と知識表現の手法を組み合わせたシステムである。
3つの異なるデータセット上でPeerArgパイプラインの性能を評価する。
- 参考スコア（独自算出の注目度）: 13.853426822028975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Peer review is an essential process to determine the quality of papers submitted to scientific conferences or journals. However, it is subjective and prone to biases. Several studies have been conducted to apply techniques from NLP to support peer review, but they are based on black-box techniques and their outputs are difficult to interpret and trust. In this paper, we propose a novel pipeline to support and understand the reviewing and decision-making processes of peer review: the PeerArg system combining LLMs with methods from knowledge representation. PeerArg takes in input a set of reviews for a paper and outputs the paper acceptance prediction. We evaluate the performance of the PeerArg pipeline on three different datasets, in comparison with a novel end-2-end LLM that uses few-shot learning to predict paper acceptance given reviews. The results indicate that the end-2-end LLM is capable of predicting paper acceptance from reviews, but a variant of the PeerArg pipeline outperforms this LLM.
- Abstract（参考訳）: ピアレビューは、科学会議や雑誌に提出された論文の品質を決定するための重要なプロセスである。
しかし、それは主観的で偏見がちである。
ピアレビューを支援するためにNLPの技法を適用するためにいくつかの研究がなされているが、これらはブラックボックス技術に基づいており、その成果を解釈し、信頼することは困難である。
本稿では,LLMと知識表現の手法を組み合わせたPeerArgシステムを提案する。
PeerArgは、論文のレビューのセットを入力し、論文の受理予測を出力する。
本稿では,3つの異なるデータセット上でのPeerArgパイプラインの性能を評価する。
その結果、エンド-2エンドのLLMは、レビューから論文の受け入れを予測できるが、PeerArgパイプラインの変種は、このLLMよりも優れていたことが示唆された。
関連論文リスト
- AI-Driven Review Systems: Evaluating LLMs in Scalable and Bias-Aware Academic Reviews [18.50142644126276]
我々は,人選好のアリーナを用いて,人選好と自動レビューのアライメントを評価する。
我々は、LLMを微調整して人間の好みを予測し、LLM同士の真っ向からの戦いにおいて、どのレビューが好まれるかを予測する。
我々は、公開可能なarXivおよびオープンアクセスのNatureジャーナルのレビューをオンラインで公開し、著者が研究論文をレビューし、改訂し、品質を改善するのに役立つ無料サービスを提供しています。
論文 参考訳（メタデータ） (2024-08-19T19:10:38Z) - LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。
本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。
私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
論文 参考訳（メタデータ） (2024-06-24T01:30:22Z) - Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。
我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。
複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
論文 参考訳（メタデータ） (2024-06-09T08:24:17Z) - Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。
これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。
本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
論文 参考訳（メタデータ） (2024-05-24T08:12:30Z) - What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。
ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。
筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
論文 参考訳（メタデータ） (2024-05-10T16:06:43Z) - Prompting LLMs to Compose Meta-Review Drafts from Peer-Review Narratives
of Scholarly Manuscripts [6.2701471990853594]
大規模言語モデル(LLM)は、複数の専門家によるピアレビューの物語に基づいてメタレビューを生成することができる。
本稿では,3つのLLMを用いてメタレビューを自動的に生成するケーススタディを行う。
論文 参考訳（メタデータ） (2024-02-23T20:14:16Z) - PRE: A Peer Review Based Large Language Model Evaluator [14.585292530642603]
既存のパラダイムは、LLMの性能を評価するために、人間アノテーションまたはモデルベースの評価器のいずれかに依存している。
ピアレビュープロセスを通じてLLMを自動的に評価できる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-28T12:33:14Z) - Sentiment Analysis through LLM Negotiations [58.67939611291001]
感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。
本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-03T12:35:29Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Argument Mining Driven Analysis of Peer-Reviews [4.552676857046446]
本稿では,編集者,メタレビュアー,レビュアーの支援を目的としたArgument Miningに基づくアプローチを提案する。
以上の知見の1つは、ピアレビュープロセスで使われる引数が他のドメインの引数とは異なるため、事前学習されたモデルの転送が困難であるということです。
私たちは、注釈付き引数を持つさまざまなコンピュータサイエンス会議の新しいピアレビューデータセットをコミュニティに提供します。
論文 参考訳（メタデータ） (2020-12-10T16:06:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。