論文の概要: Do open citations give insights on the qualitative peer-review
evaluation in research assessments? An analysis of the Italian National
Scientific Qualification
- arxiv url: http://arxiv.org/abs/2103.07942v2
- Date: Sun, 23 Oct 2022 07:56:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-08 04:27:19.409794
- Title: Do open citations give insights on the qualitative peer-review
evaluation in research assessments? An analysis of the Italian National
Scientific Qualification
- Title（参考訳）: オープン引用は研究評価における質的ピアレビュー評価について洞察を与えるか?
イタリア国立科学資格制度の分析
- Authors: Federica Bologna, Angelo Di Iorio, Silvio Peroni, Francesco Poggi
- Abstract要約: イタリアの国家科学資格(NSQ)は、学者が教授の学術的地位に応用できるかどうかを決定することを目的としている。
書誌学を駆使し、候補者のCVを査読する。
オープンデータと引用データのみを考慮して計算された引用に基づくメトリクスが、人間のNDのピアレビューを支援することができるかどうかを考察する。
- 参考スコア（独自算出の注目度）: 1.911678487931003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the past, several works have investigated ways for combining quantitative
and qualitative methods in research assessment exercises. Indeed, the Italian
National Scientific Qualification (NSQ), i.e. the national assessment exercise
which aims at deciding whether a scholar can apply to professorial academic
positions as Associate Professor and Full Professor, adopts a quantitative and
qualitative evaluation process: it makes use of bibliometrics followed by a
peer-review process of candidates' CVs. The NSQ divides academic disciplines
into two categories, i.e. citation-based disciplines (CDs) and
non-citation-based disciplines (NDs), a division that affects the metrics used
for assessing the candidates of that discipline in the first part of the
process, which is based on bibliometrics. In this work, we aim at exploring
whether citation-based metrics, calculated only considering open bibliographic
and citation data, can support the human peer-review of NDs and yield insights
on how it is conducted. To understand if and what citation-based (and,
possibly, other) metrics provide relevant information, we created a series of
machine learning models to replicate the decisions of the NSQ committees. As
one of the main outcomes of our study, we noticed that the strength of the
citational relationship between the candidate and the commission in charge of
assessing his/her CV seems to play a role in the peer-review phase of the NSQ
of NDs.
- Abstract（参考訳）: これまで,研究評価演習における量的・質的手法の組み合わせについて研究してきた。
実際、イタリアの国家科学資格(NSQ)は、学者が助教授および教授として教授の学術的地位に応用できるかどうかを判断することを目的とした国家評価演習であり、定量的かつ質的な評価プロセスを採用しており、続いてバイオロメトリスを使用し、候補者のCVを査読する。
nsqは学術分野を2つのカテゴリに分類している:すなわち、引用ベースの規律(cds)とノン引用に基づく規律(nds)であり、その分野の候補を評価するのに使用される指標に影響を与える。
本研究では,オープンな書誌データと引用データのみを考慮した引用に基づくメトリクスが,人間のNDのピアレビューを支援し,その実施方法に関する洞察を得ることができるかを検討することを目的とする。
引用に基づく(おそらく他の)メトリクスが関連する情報を提供するかどうかを理解するために、NSQ委員会の決定を再現する一連の機械学習モデルを作成しました。
本研究の主な成果の1つとして,ndsのnsqのピアレビューフェーズにおいて,cvの評価を担当する委員と候補との引用関係の強さが重要な役割を果たしていることに気付きました。
関連論文リスト
- Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Why do you cite? An investigation on citation intents and decision-making classification processes [1.7812428873698407]
本研究は,引用意図を信頼して分類することの重要性を強調する。
本稿では,citation Intent Classification (CIC) のための高度なアンサンブル戦略を用いた研究について述べる。
我々のモデルの1つは、SciCiteベンチマークで89.46%のマクロF1スコアを持つ新しい最先端(SOTA)として設定されている。
論文 参考訳（メタデータ） (2024-07-18T09:29:33Z) - Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。
本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
論文 参考訳（メタデータ） (2024-03-21T10:31:11Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Artificial intelligence technologies to support research assessment: A
review [10.203602318836444]
この文献レビューは、記事のテキストから、より高いインパクトやより高い品質の研究に関連する指標を特定する。
論文やカンファレンス論文の引用数や品質スコアを予測するために機械学習技術を使用した研究が含まれている。
論文 参考訳（メタデータ） (2022-12-11T06:58:39Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳（メタデータ） (2022-11-12T12:29:38Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Academics evaluating academics: a methodology to inform the review
process on top of open citations [1.911678487931003]
オープンな引用のみを考慮して計算された引用に基づくメトリクスが、人間の査定演習のピアレビューの実施方法に関する洞察を得ることのできるデータを提供するかどうかを考察する。
我々は,研究評価演習の委員会の決定を再現するために,一連の機械学習モデルを提案する。
論文 参考訳（メタデータ） (2021-06-10T13:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。