論文の概要: AgentReview: Exploring Peer Review Dynamics with LLM Agents
- arxiv url: http://arxiv.org/abs/2406.12708v2
- Date: Sun, 13 Oct 2024 02:43:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:03:05.979289
- Title: AgentReview: Exploring Peer Review Dynamics with LLM Agents
- Title（参考訳）: AgentReview: LLMエージェントによるピアレビューダイナミクスの探索
- Authors: Yiqiao Jin, Qinlin Zhao, Yiyang Wang, Hao Chen, Kaijie Zhu, Yijia Xiao, Jindong Wang,
- Abstract要約: 本稿では,最初の大規模言語モデル(LLM)に基づくピアレビューシミュレーションフレームワークであるAgentReviewを紹介する。
本研究は、レビュアーの偏見による紙の判断の37.1%の顕著な変化を含む、重要な洞察を明らかにした。
- 参考スコア（独自算出の注目度）: 13.826819101545926
- License:
- Abstract: Peer review is fundamental to the integrity and advancement of scientific publication. Traditional methods of peer review analyses often rely on exploration and statistics of existing peer review data, which do not adequately address the multivariate nature of the process, account for the latent variables, and are further constrained by privacy concerns due to the sensitive nature of the data. We introduce AgentReview, the first large language model (LLM) based peer review simulation framework, which effectively disentangles the impacts of multiple latent factors and addresses the privacy issue. Our study reveals significant insights, including a notable 37.1% variation in paper decisions due to reviewers' biases, supported by sociological theories such as the social influence theory, altruism fatigue, and authority bias. We believe that this study could offer valuable insights to improve the design of peer review mechanisms. Our code is available at https://github.com/Ahren09/AgentReview.
- Abstract（参考訳）: ピアレビューは、科学出版の完全性と進歩の基礎である。
従来のピアレビュー分析の手法は、しばしば既存のピアレビューデータの探索と統計に依存するが、これはプロセスの多変量の性質に適切に対処せず、潜伏変数を考慮に入れており、データの繊細な性質のためにプライバシー上の懸念によってさらに制限されている。
本稿では,最初の大規模言語モデル(LLM)に基づくピアレビューシミュレーションフレームワークであるAgentReviewを紹介し,複数の潜在要因の影響を効果的に解消し,プライバシ問題に対処する。
本研究は, 社会的影響論, 利他的疲労, 権威的偏見などの社会学的理論が支持する, レビュー者の偏見による紙判断の37.1%の顕著な変化を含む, 重要な知見を明らかにする。
本研究は、ピアレビュー機構の設計を改善するための貴重な洞察を与えることができると考えている。
私たちのコードはhttps://github.com/Ahren09/AgentReview.comから入手可能です。
関連論文リスト
- Eliciting Informative Text Evaluations with Large Language Models [14.176332393753906]
生成的ピア予測機構(GPPM)と生成的シンプシスピア予測機構(GSPPM)の2つのメカニズムを導入する。
我々は,この機構がベイズ・ナッシュ均衡(近似)として高い努力と真理を動機付けることができることを示した。
ICLRデータセットでは、人間によるレビュー、GPT-4生成レビュー、GPT-3.5生成レビューの3つの品質レベルを、期待されるスコアの観点から区別することが可能です。
論文 参考訳（メタデータ） (2024-05-23T21:56:12Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。
既存の感受性研究は、自己報告された信念に大きく依存している。
本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
論文 参考訳（メタデータ） (2023-11-16T07:22:56Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳（メタデータ） (2023-10-28T11:57:51Z) - MOPRD: A multidisciplinary open peer review dataset [12.808751859133064]
オープン・ピア・レビューは学術出版物で増加傾向にある。
既存のピアレビューデータセットのほとんどは、ピアレビュープロセス全体をカバーするデータを提供していません。
複数分野のオープンピアレビューデータセットMOPRDを構築した。
論文 参考訳（メタデータ） (2022-12-09T16:35:14Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Yes-Yes-Yes: Donation-based Peer Reviewing Data Collection for ACL
Rolling Review and Beyond [58.71736531356398]
本稿では、ピアレビューデータについて詳細な議論を行い、ピアレビューデータ収集のための倫理的・法的デシダータの概要を述べるとともに、最初の継続的な寄付ベースのデータ収集ワークフローを提案する。
本稿では、ACL Rolling Reviewにおいて、このワークフローの現在進行中の実装について報告し、新たに収集したデータから得られた最初の洞察を提供する。
論文 参考訳（メタデータ） (2022-01-27T11:02:43Z) - Spatio-Temporal Graph Representation Learning for Fraudster Group
Detection [50.779498955162644]
企業は、偽レビューを書くために詐欺師グループを雇い、競合相手をデモしたり、自分のビジネスを宣伝したりすることができる。
そのようなグループを検出するには、詐欺師グループの静的ネットワークを表現するのが一般的なモデルである。
両レビュアーの表現学習におけるHIN-RNNの有効性を第一に活用することを提案する。
論文 参考訳（メタデータ） (2022-01-07T08:01:38Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。
第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。
また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
論文 参考訳（メタデータ） (2020-06-05T07:06:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。