論文の概要: Ranking Scientific Papers Using Preference Learning
- arxiv url: http://arxiv.org/abs/2109.01190v1
- Date: Thu, 2 Sep 2021 19:41:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-06 14:02:39.849144
- Title: Ranking Scientific Papers Using Preference Learning
- Title(参考訳): 選好学習を用いた科学論文のランク付け
- Authors: Nils Dycke, Edwin Simpson, Ilia Kuznetsov, Iryna Gurevych
- Abstract要約: 我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
- 参考スコア(独自算出の注目度): 48.78161994501516
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Peer review is the main quality control mechanism in academia. Quality of
scientific work has many dimensions; coupled with the subjective nature of the
reviewing task, this makes final decision making based on the reviews and
scores therein very difficult and time-consuming. To assist with this important
task, we cast it as a paper ranking problem based on peer review texts and
reviewer scores. We introduce a novel, multi-faceted generic evaluation
framework for making final decisions based on peer reviews that takes into
account effectiveness, efficiency and fairness of the evaluated system. We
propose a novel approach to paper ranking based on Gaussian Process Preference
Learning (GPPL) and evaluate it on peer review data from the ACL-2018
conference. Our experiments demonstrate the superiority of our GPPL-based
approach over prior work, while highlighting the importance of using both texts
and review scores for paper ranking during peer review aggregation.
- Abstract(参考訳): 学界の主要な品質管理機構はピアレビューである。
科学的な仕事の質には多くの次元があり、レビュー作業の主観的な性質と相まって、レビューとスコアに基づく最終的な意思決定は非常に困難で時間がかかります。
この課題を支援するために,ピアレビューテキストとレビュー者のスコアに基づいて,紙のランキング問題として位置づけた。
評価システムの有効性,効率,公平性を考慮し,ピアレビューに基づく最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
本稿では,GPPL(Gaussian Process Preference Learning)に基づく論文ランキングの新たなアプローチを提案し,ACL-2018カンファレンスのピアレビューデータに基づいて評価する。
本実験は, GPPL による先行作業に対するアプローチの優位性を実証し, ピアレビューアグリゲーションにおいて, テキストとレビュースコアの両方を使用することの重要性を強調した。
関連論文リスト
- Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。
鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
論文 参考訳(メタデータ) (2023-11-24T17:27:39Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳(メタデータ) (2022-11-12T12:29:38Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳(メタデータ) (2022-04-05T19:39:13Z) - Generating Summaries for Scientific Paper Review [29.12631698162247]
機械学習とNLPにおけるトップの会場への応募の増加は、レビュアーに過剰な負担を課す問題を引き起こしている。
レビュープロセスを支援する自動システムは、問題を改善するための解決策になり得る。
本稿では,学術論文の自動レビュー要約生成について検討する。
論文 参考訳(メタデータ) (2021-09-28T21:43:53Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳(メタデータ) (2021-01-30T07:16:53Z) - Debiasing Evaluations That are Biased by Evaluations [32.135315382120154]
我々は、結果に関する情報が利用可能である場合に、評価における結果誘発バイアスを緩和する問題を考察する。
この順序制約の下で正規化最適化問題を解くことでデバイアス化手法を提案する。
また,適切な正規化量を適応的に選択するクロスバリデーション手法も提案する。
論文 参考訳(メタデータ) (2020-12-01T18:20:43Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳(メタデータ) (2020-11-02T08:07:50Z) - Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。
第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。
また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
論文 参考訳(メタデータ) (2020-06-05T07:06:01Z) - Systematic Review of Approaches to Improve Peer Assessment at Scale [5.067828201066184]
本稿では, ピアアセスメント(PA)の3つの側面, オートグレーティングとピアアセスメントツール(ピアレビュー/オートグレーティングの実施方法のみに注目します), ローグレビューを扱う戦略, 自然言語処理によるピアレビューの改善について述べる。
論文 参考訳(メタデータ) (2020-01-27T15:59:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。