論文の概要: Artificial intelligence technologies to support research assessment: A
review
- arxiv url: http://arxiv.org/abs/2212.06574v1
- Date: Sun, 11 Dec 2022 06:58:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 15:25:08.733896
- Title: Artificial intelligence technologies to support research assessment: A
review
- Title（参考訳）: 研究アセスメントを支援する人工知能技術 : レビュー
- Authors: Kayvan Kousha, Mike Thelwall
- Abstract要約: この文献レビューは、記事のテキストから、より高いインパクトやより高い品質の研究に関連する指標を特定する。
論文やカンファレンス論文の引用数や品質スコアを予測するために機械学習技術を使用した研究が含まれている。
- 参考スコア（独自算出の注目度）: 10.203602318836444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This literature review identifies indicators that associate with higher
impact or higher quality research from article text (e.g., titles, abstracts,
lengths, cited references and readability) or metadata (e.g., the number of
authors, international or domestic collaborations, journal impact factors and
authors' h-index). This includes studies that used machine learning techniques
to predict citation counts or quality scores for journal articles or conference
papers. The literature review also includes evidence about the strength of
association between bibliometric indicators and quality score rankings from
previous UK Research Assessment Exercises (RAEs) and REFs in different subjects
and years and similar evidence from other countries (e.g., Australia and
Italy). In support of this, the document also surveys studies that used public
datasets of citations, social media indictors or open review texts (e.g.,
Dimensions, OpenCitations, Altmetric.com and Publons) to help predict the
scholarly impact of articles. The results of this part of the literature review
were used to inform the experiments using machine learning to predict REF
journal article quality scores, as reported in the AI experiments report for
this project. The literature review also covers technology to automate
editorial processes, to provide quality control for papers and reviewers'
suggestions, to match reviewers with articles, and to automatically categorise
journal articles into fields. Bias and transparency in technology assisted
assessment are also discussed.
- Abstract（参考訳）: 本文献レビューは、論文テキスト(例えば、タイトル、要約、長さ、引用参照および可読性)またはメタデータ(例えば、著者数、国際または国内協力数、学術誌のインパクトファクターおよび著者のh-インデックス)から、より高いインパクトまたはより高い品質の研究に関連付けられた指標を特定する。
これには、機械学習技術を用いて、論文やカンファレンス論文の引用数や品質スコアを予測する研究が含まれている。
文献レビューには、以前の英国の研究評価演習(raes)による書誌指標と品質スコアのランキングとの相関の強さに関する証拠や、他の国(例えばオーストラリアとイタリア)からの同様の証拠も含まれている。
これをサポートするため、論文の学術的影響を予測するのに、引用、ソーシャルメディアの告発者、オープンレビューのテキスト(次元、opencitations、altmetric.com、publonsなど)の公開データセットを使用した研究も調査している。
この部分の文献レビューの結果は、このプロジェクトのAI実験レポートに報告されているように、機械学習を使用してREFジャーナルの記事の品質スコアを予測する実験に使用された。
論文レビューはまた、編集プロセスの自動化、論文やレビュアーの提案の品質管理の提供、レビュアーと記事のマッチング、雑誌記事を自動的に分野に分類する技術についても取り上げている。
技術支援評価におけるバイアスと透明性についても論じる。
関連論文リスト
- Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - SyROCCo: Enhancing Systematic Reviews using Machine Learning [6.805429133535976]
本稿では,システムレビュープロセスのナビゲートを支援する機械学習技術について検討する。
データ抽出やエビデンスマッピングといったレビューのその後の段階へのML技術の適用は、その初期段階にある。
論文 参考訳（メタデータ） (2024-06-24T11:04:43Z) - RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。
25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。
我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
論文 参考訳（メタデータ） (2024-06-13T06:42:32Z) - CASIMIR: A Corpus of Scientific Articles enhanced with Multiple Author-Integrated Revisions [7.503795054002406]
本稿では,学術論文の執筆過程の改訂段階について,原文資料を提案する。
この新しいデータセットはCASIMIRと呼ばれ、OpenReviewの15,646の科学論文の改訂版とピアレビューを含んでいる。
論文 参考訳（メタデータ） (2024-03-01T03:07:32Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [55.33653554387953]
パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。
本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。
1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Towards a Quality Indicator for Research Data publications and Research
Software publications -- A vision from the Helmholtz Association [0.24848203755267903]
研究データや研究ソフトウェアの品質を評価・評価するプロセスはまだ確立されていない。
Task Group Quality Indicators for Data and Software Publicationsは現在、研究データおよび研究ソフトウェア出版のための品質指標を開発している。
論文 参考訳（メタデータ） (2024-01-16T20:00:27Z) - Application of Transformers based methods in Electronic Medical Records:
A Systematic Literature Review [77.34726150561087]
本研究は,異なるNLPタスクにおける電子カルテ(EMR)のトランスフォーマーに基づく手法を用いて,最先端技術に関する体系的な文献レビューを行う。
論文 参考訳（メタデータ） (2023-04-05T22:19:42Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Tag-Aware Document Representation for Research Paper Recommendation [68.8204255655161]
本稿では,ユーザによって割り当てられたソーシャルタグに基づいて,研究論文の深い意味表現を活用するハイブリッドアプローチを提案する。
提案手法は,評価データが極めて少ない場合でも研究論文の推薦に有効である。
論文 参考訳（メタデータ） (2022-09-08T09:13:07Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Do open citations give insights on the qualitative peer-review
evaluation in research assessments? An analysis of the Italian National
Scientific Qualification [1.911678487931003]
イタリアの国家科学資格(NSQ)は、学者が教授の学術的地位に応用できるかどうかを決定することを目的としている。
書誌学を駆使し、候補者のCVを査読する。
オープンデータと引用データのみを考慮して計算された引用に基づくメトリクスが、人間のNDのピアレビューを支援することができるかどうかを考察する。
論文 参考訳（メタデータ） (2021-03-14T14:44:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。