論文の概要: Enhancing Peer Review in Astronomy: A Machine Learning and Optimization Approach to Reviewer Assignments for ALMA
- arxiv url: http://arxiv.org/abs/2410.10009v1
- Date: Sun, 13 Oct 2024 21:06:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 03:43:37.184944
- Title: Enhancing Peer Review in Astronomy: A Machine Learning and Optimization Approach to Reviewer Assignments for ALMA
- Title（参考訳）: 天文学におけるピアレビューの強化 - ALMAのレビューアサインに対する機械学習と最適化アプローチ
- Authors: John M. Carpenter, Andrea Corvillón, Nihar B. Shah,
- Abstract要約: 本稿では,レビュアーに提案を割り当てるための機械学習と最適化手法の展開と評価について述べる。
提案トピックを特定し,過去のALMA提案に基づいてレビュアーの専門知識を評価する。
重大なミスマッチのために再割り当てを必要としなかったため、手作業で3日から5日間の節約が図られた。
- 参考スコア（独自算出の注目度）: 16.515536651089626
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing volume of papers and proposals undergoing peer review emphasizes the pressing need for greater automation to effectively manage the growing scale. In this study, we present the deployment and evaluation of machine learning and optimization techniques for assigning proposals to reviewers that was developed for the Atacama Large Millimeter/submillimeter Array (ALMA) during the Cycle 10 Call for Proposals issued in 2023. By utilizing topic modeling algorithms, we identify the proposal topics and assess reviewers' expertise based on their historical ALMA proposal submissions. We then apply an adapted version of the assignment optimization algorithm from PeerReview4All (Stelmakh et al. 2021a) to maximize the alignment between proposal topics and reviewer expertise. Our evaluation shows a significant improvement in matching reviewer expertise: the median similarity score between the proposal topic and reviewer expertise increased by 51 percentage points compared to the previous cycle, and the percentage of reviewers reporting expertise in their assigned proposals rose by 20 percentage points. Furthermore, the assignment process proved highly effective in that no proposals required reassignment due to significant mismatches, resulting in a savings of 3 to 5 days of manual effort.
- Abstract（参考訳）: ピアレビュー中の論文や提案の量の増加は、拡大するスケールを効果的に管理するために、より大きな自動化の必要性を強く求めている。
本研究では,2023年に発行されたCycle 10 Call for Proposalsにおいて,アタカマ大型ミリ波サブミリ波アレイ(ALMA)用に開発されたレビュアーに提案を割り当てるための機械学習および最適化手法の展開と評価を行う。
トピックモデリングアルゴリズムを利用することで、提案トピックを特定し、過去のALMA提案に基づいてレビュアーの専門知識を評価する。
次にPeerReview4All(Stelmakh et al 2021a)の代入最適化アルゴリズムの適応版を適用し,提案トピックとレビュアーの専門知識の整合性を最大化する。
本評価では,提案トピックとレビュアの専門知識の平均的類似度スコアは,前回のサイクルに比べて51ポイント上昇し,アサインされた提案の専門知識を報告するレビュアの割合は20ポイント上昇した。
さらに、この割当てプロセスは、大きなミスマッチのために再割り当てが必要とせず、3～5日間のマニュアル作業が省かれ、非常に効果的であることが判明した。
関連論文リスト
- Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。
分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。
BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2024-09-21T18:39:53Z) - Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Little Giants: Exploring the Potential of Small LLMs as Evaluation
Metrics in Summarization in the Eval4NLP 2023 Shared Task [53.163534619649866]
本稿では,大規模言語モデルに品質評価の課題を扱えるように,プロンプトベースの手法の有効性を評価することに焦点を当てる。
我々は,標準的なプロンプト,アノテータ命令によって通知されるプロンプト,イノベーティブなチェーン・オブ・シークレットプロンプトなど,様々なプロンプト技術を用いて,系統的な実験を行った。
我々の研究は、これらのアプローチを"小さな"オープンソースモデル(orca_mini_v3_7B)を使って組み合わせることで、競争結果が得られることを示した。
論文 参考訳（メタデータ） (2023-11-01T17:44:35Z) - Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。
実験の結果,既存手法と比較して精度が向上した。
この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
論文 参考訳（メタデータ） (2022-11-08T12:18:02Z) - Tag-Aware Document Representation for Research Paper Recommendation [68.8204255655161]
本稿では,ユーザによって割り当てられたソーシャルタグに基づいて,研究論文の深い意味表現を活用するハイブリッドアプローチを提案する。
提案手法は,評価データが極めて少ない場合でも研究論文の推薦に有効である。
論文 参考訳（メタデータ） (2022-09-08T09:13:07Z) - Measuring "Why" in Recommender Systems: a Comprehensive Survey on the
Evaluation of Explainable Recommendation [87.82664566721917]
この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
論文 参考訳（メタデータ） (2022-02-14T02:58:55Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Benchmarking in Optimization: Best Practice and Open Issues [9.710173903804373]
この調査は、異なる背景を持つ12人以上の研究者と、世界中の異なる研究所のアイデアとレコメンデーションをまとめたものだ。
本稿は、ベンチマークにおける8つの重要なトピックについて論じる: 明確な目標、明確に定義された問題、適切なアルゴリズム、適切なパフォーマンス対策、思慮深い分析、効率的かつ効率的な設計、理解可能なプレゼンテーション、保証。
論文 参考訳（メタデータ） (2020-07-07T14:20:26Z) - A Prescription of Methodological Guidelines for Comparing Bio-inspired Optimization Algorithms [15.803264424018488]
本稿では,新しいバイオインスパイアされたアルゴリズムの提案を成功させるための方法論的ガイドラインを提案する。
著者らが報告した結果は、過去の結果よりも大幅に進歩することが証明されるべきである。
我々は、これらのガイドラインが著者だけでなく、レビュアーや編集者にも有用であると期待している。
論文 参考訳（メタデータ） (2020-04-19T04:46:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。