論文の概要: Reducing research bureaucracy in UK higher education: Can generative AI assist with the internal evaluation of quality?

• arxiv url: http://arxiv.org/abs/2511.21790v1
• Date: Wed, 26 Nov 2025 15:48:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.240405
• Title: Reducing research bureaucracy in UK higher education: Can generative AI assist with the internal evaluation of quality?
• Title（参考訳）: 英国の高等教育における研究官僚制の削減 : 生成AIは品質の内部評価を支援することができるか?
• Authors: Gordon Fletcher, Saomai Vu Khan, Aldus Greenhill Fletcher,
• Abstract要約: 本稿では、英国高等教育における研究品質評価のための内部レビュープロセスを支援するための生成人工知能(GenAI)の可能性について検討する。 本稿では、ChatGPTを用いて、REF 2021の提出論文からビジネスおよびマネジメント論文のスコアとランク付けを行う実験手法について、AI生成スコアと既知の機関的結果を比較して評価を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper examines the potential for generative artificial intelligence (GenAI) to assist with internal review processes for research quality evaluations in UK higher education and particularly in preparation for the Research Excellence Framework (REF). Using the lens of function substitution in the Viable Systems Model, we present an experimental methodology using ChatGPT to score and rank business and management papers from REF 2021 submissions, "reverse engineering" the assessment by comparing AI-generated scores with known institutional results. Through rigourous testing of 822 papers across 11 institutions, we established scoring boundaries that aligned with reported REF outcomes: 49% between 1* and 2*, 59% between 2* and 3*, and 69% between 3* and 4*. The results demonstrate that AI can provide consistent evaluations that help identify borderline evaluation cases requiring additional human scrutiny while reducing the substantial resource burden of traditional internal review processes. We argue for application through a nuanced hybrid approach that maintains academic integrity while addressing the multi-million pound costs associated with research evaluation bureaucracy. While acknowledging these limitations including potential AI biases, the research presents a promising framework for more efficient, consistent evaluations that could transform current approaches to research assessment.
• Abstract（参考訳）: 本稿では、英国の高等教育における研究品質評価、特にResearch Excellence Framework(REF)のための内部レビュープロセスを支援するための生成人工知能(GenAI)の可能性について検討する。 実用システムモデルにおける機能置換レンズを用いて,REF 2021からの業務・管理論文のスコアとランク付けにChatGPTを用いた実験手法を提案し,AI生成スコアと既知の機関的結果を比較することにより,評価を「リバースエンジニアリング」する。 11の機関で822の論文の厳密な試験を通じて,報告されたREF結果と一致したスコア境界を設定した: 1*から2*の間に49%,2*から3*の間に59%,3*から4*の間に69%。 その結果、AIは、従来の内部レビュープロセスのかなりのリソース負担を軽減しつつ、追加の人間の精査を必要とする境界評価ケースを特定するのに役立つ、一貫した評価を提供することができることを示した。 我々は、研究評価官僚制に関連する数百万ポンドのコストに対処しつつ、学術的整合性を維持するような、微妙なハイブリッドアプローチによる適用を議論する。 潜在的なAIバイアスを含むこれらの制限を認識しながら、研究は研究評価に対する現在のアプローチを変える可能性のある、より効率的で一貫した評価のための、有望なフレームワークを提示している。

関連論文リスト

• ReviewerToo: Should AI Join The Program Committee? A Look At The Future of Peer Review [23.630458187587223]
  ReviewerTooは、AI支援ピアレビューの研究とデプロイのためのフレームワークである。 専門的なレビュアー・ペルソナと構造化された評価基準による体系的な実験を支援する。 私たちは、複雑な評価判断をドメインの専門家に任せながら、AIが一貫性、カバレッジ、公平性を高める方法を示します。
  論文  参考訳（メタデータ） (2025-10-09T23:53:19Z)
• Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
  我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。 これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。 本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-29T08:48:00Z)
• ResearcherBench: Evaluating Deep AI Research Systems on the Frontiers of Scientific Inquiry [22.615102398311432]
  我々は、ディープAI研究システムの能力を評価することに焦点を当てた最初のベンチマークであるResearcherBenchを紹介する。 現実の科学的シナリオから専門的に選択された65の質問のデータセットを収集した。 OpenAI Deep ResearchとGemini Deep Researchは、他のシステムよりも格段に優れており、オープンエンドのコンサルティングの質問では特に強みがある。
  論文  参考訳（メタデータ） (2025-07-22T06:51:26Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• ReviewEval: An Evaluation Framework for AI-Generated Reviews [9.35023998408983]
  学術研究の増大は、資格のあるレビュアーの不足と相まって、ピアレビューに対する革新的なアプローチを必要としている。 本稿では,AIによるレビューを総合的に評価するフレームワークであるReviewEvalを提案する。 本稿では、AIに基づくピアレビューに不可欠な指標を確立し、学術研究におけるAI生成レビューの信頼性と影響を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-02-17T12:22:11Z)
• STRICTA: Structured Reasoning in Critical Text Assessment for Peer Review and Beyond [68.47402386668846]
  本研究では,テキストアセスメントをステップワイド推論プロセスとしてモデル化するために,Structured Reasoning In Critical Text Assessment (STRICTA)を導入する。 STRICTAは、因果性理論に基づく相互接続推論ステップのグラフに評価を分解する。 約40人のバイオメディカル専門家が20以上の論文について4000以上の推論ステップのデータセットにSTRICTAを適用した。
  論文  参考訳（メタデータ） (2024-09-09T06:55:37Z)
• The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
  著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。 著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。 本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。