論文の概要: Ranking Scientific Papers Using Preference Learning
- arxiv url: http://arxiv.org/abs/2109.01190v1
- Date: Thu, 2 Sep 2021 19:41:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-06 14:02:39.849144
- Title: Ranking Scientific Papers Using Preference Learning
- Title（参考訳）: 選好学習を用いた科学論文のランク付け
- Authors: Nils Dycke, Edwin Simpson, Ilia Kuznetsov, Iryna Gurevych
- Abstract要約: 我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 48.78161994501516
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Peer review is the main quality control mechanism in academia. Quality of
scientific work has many dimensions; coupled with the subjective nature of the
reviewing task, this makes final decision making based on the reviews and
scores therein very difficult and time-consuming. To assist with this important
task, we cast it as a paper ranking problem based on peer review texts and
reviewer scores. We introduce a novel, multi-faceted generic evaluation
framework for making final decisions based on peer reviews that takes into
account effectiveness, efficiency and fairness of the evaluated system. We
propose a novel approach to paper ranking based on Gaussian Process Preference
Learning (GPPL) and evaluate it on peer review data from the ACL-2018
conference. Our experiments demonstrate the superiority of our GPPL-based
approach over prior work, while highlighting the importance of using both texts
and review scores for paper ranking during peer review aggregation.
- Abstract（参考訳）: 学界の主要な品質管理機構はピアレビューである。
科学的な仕事の質には多くの次元があり、レビュー作業の主観的な性質と相まって、レビューとスコアに基づく最終的な意思決定は非常に困難で時間がかかります。
この課題を支援するために,ピアレビューテキストとレビュー者のスコアに基づいて,紙のランキング問題として位置づけた。
評価システムの有効性,効率,公平性を考慮し,ピアレビューに基づく最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
本稿では,GPPL(Gaussian Process Preference Learning)に基づく論文ランキングの新たなアプローチを提案し,ACL-2018カンファレンスのピアレビューデータに基づいて評価する。
本実験は, GPPL による先行作業に対するアプローチの優位性を実証し, ピアレビューアグリゲーションにおいて, テキストとレビュースコアの両方を使用することの重要性を強調した。
関連論文リスト
- Deep Transfer Learning Based Peer Review Aggregation and Meta-review Generation for Scientific Articles [2.0778556166772986]
論文の受理決定とメタレビュー生成という2つのピアレビューアグリゲーション課題に対処する。
まず,従来の機械学習アルゴリズムを適用し,受理決定のプロセスを自動化することを提案する。
メタレビュー生成では,T5モデルに基づく移動学習モデルを提案する。
論文 参考訳（メタデータ） (2024-10-05T15:40:37Z) - Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。
従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
論文 参考訳（メタデータ） (2024-06-11T15:27:01Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。
鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
論文 参考訳（メタデータ） (2023-11-24T17:27:39Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳（メタデータ） (2022-04-05T19:39:13Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳（メタデータ） (2020-11-02T08:07:50Z) - Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。
第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。
また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
論文 参考訳（メタデータ） (2020-06-05T07:06:01Z) - Systematic Review of Approaches to Improve Peer Assessment at Scale [5.067828201066184]
本稿では, ピアアセスメント(PA)の3つの側面, オートグレーティングとピアアセスメントツール(ピアレビュー/オートグレーティングの実施方法のみに注目します), ローグレビューを扱う戦略, 自然言語処理によるピアレビューの改善について述べる。
論文 参考訳（メタデータ） (2020-01-27T15:59:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。