論文の概要: Deep Transfer Learning Based Peer Review Aggregation and Meta-review Generation for Scientific Articles

• arxiv url: http://arxiv.org/abs/2410.04202v1
• Date: Sat, 5 Oct 2024 15:40:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 13:31:47.755705
• Title: Deep Transfer Learning Based Peer Review Aggregation and Meta-review Generation for Scientific Articles
• Title（参考訳）: ディープトランスファー学習に基づく学術論文のピアレビューアグリゲーションとメタレビュー生成
• Authors: Md. Tarek Hasan, Mohammad Nazmush Shamael, H. M. Mutasim Billah, Arifa Akter, Md Al Emran Hossain, Sumayra Islam, Salekul Islam, Swakkhar Shatabda,
• Abstract要約: 論文の受理決定とメタレビュー生成という2つのピアレビューアグリゲーション課題に対処する。 まず,従来の機械学習アルゴリズムを適用し,受理決定のプロセスを自動化することを提案する。 メタレビュー生成では,T5モデルに基づく移動学習モデルを提案する。
• 参考スコア（独自算出の注目度）: 2.0778556166772986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Peer review is the quality assessment of a manuscript by one or more peer experts. Papers are submitted by the authors to scientific venues, and these papers must be reviewed by peers or other authors. The meta-reviewers then gather the peer reviews, assess them, and create a meta-review and decision for each manuscript. As the number of papers submitted to these venues has grown in recent years, it becomes increasingly challenging for meta-reviewers to collect these peer evaluations on time while still maintaining the quality that is the primary goal of meta-review creation. In this paper, we address two peer review aggregation challenges a meta-reviewer faces: paper acceptance decision-making and meta-review generation. Firstly, we propose to automate the process of acceptance decision prediction by applying traditional machine learning algorithms. We use pre-trained word embedding techniques BERT to process the reviews written in natural language text. For the meta-review generation, we propose a transfer learning model based on the T5 model. Experimental results show that BERT is more effective than the other word embedding techniques, and the recommendation score is an important feature for the acceptance decision prediction. In addition, we figure out that fine-tuned T5 outperforms other inference models. Our proposed system takes peer reviews and other relevant features as input to produce a meta-review and make a judgment on whether or not the paper should be accepted. In addition, experimental results show that the acceptance decision prediction system of our task outperforms the existing models, and the meta-review generation task shows significantly improved scores compared to the existing models. For the statistical test, we utilize the Wilcoxon signed-rank test to assess whether there is a statistically significant improvement between paired observations.
• Abstract（参考訳）: ピアレビュー(Peer Review)とは、1つ以上の専門家による原稿の品質評価である。 論文は著者によって科学的な会場に提出され、これらの論文は仲間や他の著者によってレビューされなければならない。 メタリビューアはその後、ピアレビューを集め、評価し、各原稿に対してメタレビューと決定を作成する。 これらの会場に提出された論文の数は近年増加しており、メタレビュー作成の第一の目標である品質を維持しつつ、メタレビュー者がこれらのピア評価を時間とともに収集することはますます困難になっている。 本稿では,メタリビューアが直面する2つのピアレビューアグリゲーション課題に対処する。 まず,従来の機械学習アルゴリズムを適用し,受理決定のプロセスを自動化することを提案する。 我々は、自然言語テキストで書かれたレビューを処理するために、事前訓練された単語埋め込み技術BERTを使用します。 メタレビュー生成では,T5モデルに基づく移動学習モデルを提案する。 実験の結果,BERTは他の単語埋め込み手法よりも有効であり,推奨スコアは受容決定予測の重要な特徴であることがわかった。 さらに、微調整されたT5は他の推論モデルよりも優れていることが判明した。 提案システムは,メタレビューを作成し,論文が受け入れられるべきか否かを判断するために,ピアレビューやその他の関連する特徴を入力として利用する。 さらに,実験結果から,タスクの受理決定予測システムは既存モデルよりも優れており,メタレビュー生成タスクは既存モデルと比較して有意に改善されたスコアを示していることがわかった。 統計的テストでは、Wilcoxon符号ランクテストを用いて、ペア観測間で統計的に有意な改善があるかどうかを評価する。

関連論文リスト

• Unveiling the Sentinels: Assessing AI Performance in Cybersecurity Peer Review [4.081120388114928]
  サイバーセキュリティの分野では、ダブルブラインドピアレビューの実践がデファクトスタンダードである。 本稿では、ピアレビューの聖杯に触れ、学術的セキュリティカンファレンスのレビューにおけるAIのパフォーマンスについて光を当てることを目的としている。 本研究では,人間レビュアーと機械学習モデルから得られた結果を比較し,評価結果の予測可能性について検討する。
  論文  参考訳（メタデータ） (2023-09-11T13:51:40Z)
• MOPRD: A multidisciplinary open peer review dataset [12.808751859133064]
  オープン・ピア・レビューは学術出版物で増加傾向にある。 既存のピアレビューデータセットのほとんどは、ピアレビュープロセス全体をカバーするデータを提供していません。 複数分野のオープンピアレビューデータセットMOPRDを構築した。
  論文  参考訳（メタデータ） (2022-12-09T16:35:14Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• SIFN: A Sentiment-aware Interactive Fusion Network for Review-based Item Recommendation [48.1799451277808]
  本稿では、レビューに基づく項目推薦のための感性認識型インタラクティブフュージョンネットワーク(SIFN)を提案する。 まず、BERTを介してユーザ/イテムレビューをエンコードし、各レビューのセマンティックな特徴を抽出する軽量な感情学習者を提案する。 そこで我々は,感情学習者が明示的な感情ラベルを用いて感情認識特徴を抽出するための感情予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-08-18T08:04:38Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)
• Hierarchical Bi-Directional Self-Attention Networks for Paper Review Rating Recommendation [81.55533657694016]
  本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。 具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。 我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
  論文  参考訳（メタデータ） (2020-11-02T08:07:50Z)
• Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
  ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。 テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
  論文  参考訳（メタデータ） (2020-04-21T16:54:57Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。