論文の概要: exHarmony: Authorship and Citations for Benchmarking the Reviewer Assignment Problem
- arxiv url: http://arxiv.org/abs/2502.07683v1
- Date: Tue, 11 Feb 2025 16:35:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-12 14:08:46.794675
- Title: exHarmony: Authorship and Citations for Benchmarking the Reviewer Assignment Problem
- Title（参考訳）: exHarmony: レビューア割り当て問題をベンチマークするオーサシップとシテーション
- Authors: Sajad Ebrahimi, Sara Salamat, Negar Arabzadeh, Mahdi Bashari, Ebrahim Bagheri,
- Abstract要約: 明示的なラベルを必要とせずにレビュアー代入問題を評価するためのベンチマークデータセットを開発した。
従来の語彙マッチング、静的なニューラル埋め込み、文脈化されたニューラル埋め込みなど、さまざまな手法をベンチマークする。
本研究は,従来の手法が合理的に良好に機能する一方で,学術文献で訓練された文脈的埋め込みが最高の性能を示すことを示すものである。
- 参考スコア（独自算出の注目度）: 11.763640675057076
- License:
- Abstract: The peer review process is crucial for ensuring the quality and reliability of scholarly work, yet assigning suitable reviewers remains a significant challenge. Traditional manual methods are labor-intensive and often ineffective, leading to nonconstructive or biased reviews. This paper introduces the exHarmony (eHarmony but for connecting experts to manuscripts) benchmark, designed to address these challenges by re-imagining the Reviewer Assignment Problem (RAP) as a retrieval task. Utilizing the extensive data from OpenAlex, we propose a novel approach that considers a host of signals from the authors, most similar experts, and the citation relations as potential indicators for a suitable reviewer for a manuscript. This approach allows us to develop a standard benchmark dataset for evaluating the reviewer assignment problem without needing explicit labels. We benchmark various methods, including traditional lexical matching, static neural embeddings, and contextualized neural embeddings, and introduce evaluation metrics that assess both relevance and diversity in the context of RAP. Our results indicate that while traditional methods perform reasonably well, contextualized embeddings trained on scholarly literature show the best performance. The findings underscore the importance of further research to enhance the diversity and effectiveness of reviewer assignments.
- Abstract（参考訳）: ピアレビュープロセスは、学術的な作品の品質と信頼性を確保するために不可欠であるが、適切なレビュアーを割り当てることは重要な課題である。
従来の手作業の手法は労働集約的であり、しばしば非効率であり、非建設的あるいは偏見的なレビューにつながる。
本稿では,reviewer Assignment Problem (RAP) を検索タスクとして再定義することにより,これらの課題に対処するための exHarmony (eHarmony but connect experts to manuscripts) ベンチマークを提案する。
そこで我々は,OpenAlexの膨大なデータを活用することで,著者,最もよく似た専門家,引用関係を,原稿に適したレビュアーの潜在的指標とする新たなアプローチを提案する。
このアプローチにより,明示的なラベルを必要とせず,レビュア代入問題を評価するための標準ベンチマークデータセットを開発することができる。
従来の語彙マッチング,静的なニューラル埋め込み,コンテキスト化されたニューラル埋め込みなど,さまざまな手法をベンチマークし,RAPのコンテキストにおける妥当性と多様性を評価する評価指標を導入する。
本研究は,従来の手法が合理的に良好に機能する一方で,学術文献で訓練された文脈的埋め込みが最高の性能を示すことを示すものである。
この結果は、レビュアーの課題の多様性と有効性を高めるために、さらなる研究の重要性を浮き彫りにしている。
関連論文リスト
- JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。
我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。
さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
論文 参考訳（メタデータ） (2024-10-31T18:43:12Z) - Annotator in the Loop: A Case Study of In-Depth Rater Engagement to Create a Bridging Benchmark Dataset [1.825224193230824]
本稿では,アノテーションのための新規かつ協調的かつ反復的なアノテーション手法について述べる。
以上の結果から,アノテータとの連携によりアノテーションの手法が強化されることが示唆された。
論文 参考訳（メタデータ） (2024-08-01T19:11:08Z) - RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。
25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。
我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
論文 参考訳（メタデータ） (2024-06-13T06:42:32Z) - GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。
従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
論文 参考訳（メタデータ） (2024-06-11T15:27:01Z) - Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。
実験の結果,既存手法と比較して精度が向上した。
この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
論文 参考訳（メタデータ） (2022-11-08T12:18:02Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Tag-Aware Document Representation for Research Paper Recommendation [68.8204255655161]
本稿では,ユーザによって割り当てられたソーシャルタグに基づいて,研究論文の深い意味表現を活用するハイブリッドアプローチを提案する。
提案手法は,評価データが極めて少ない場合でも研究論文の推薦に有効である。
論文 参考訳（メタデータ） (2022-09-08T09:13:07Z) - TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。
我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。
さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
論文 参考訳（メタデータ） (2022-04-11T10:14:35Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳（メタデータ） (2020-11-02T08:07:50Z) - Unsupervised Reference-Free Summary Quality Evaluation via Contrastive
Learning [66.30909748400023]
教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。
具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。
ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-10-05T05:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。