論文の概要: Uncertain research country rankings. Should we continue producing uncertain rankings?
- arxiv url: http://arxiv.org/abs/2312.17560v3
- Date: Thu, 20 Mar 2025 14:41:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 16:31:15.905931
- Title: Uncertain research country rankings. Should we continue producing uncertain rankings?
- Title（参考訳）: 不確実な研究国ランキング。不確実なランキングを引き続き作り続けるべきか。
- Authors: Alonso Rodriguez-Navarro,
- Abstract要約: サイテーションに基づく各国の研究能力の評価は、しばしば、画期的な進歩を達成する能力が誤って表現される。
本研究は、ブレークスルー研究の指標として、トップパーセンタイル引用指標の有効性を評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Purpose: Citation-based assessments of countries' research capabilities often misrepresent their ability to achieve breakthrough advancements. These assessments commonly classify Japan as a developing country, which contradicts its prominent scientific standing. The purpose of this study is to investigate the underlying causes of such inaccurate assessments and to propose methods for conducting more reliable evaluations. Design/methodology/approach: The study evaluates the effectiveness of top-percentile citation metrics as indicators of breakthrough research. Using case studies of selected countries and research topics, the study examines how deviations from lognormal citation distributions impact the accuracy of these percentile indicators. A similar analysis is conducted using university data from the Leiden Ranking to investigate citation distribution deviations at the institutional level. Findings: The study finds that inflated lower tails in citation distributions lead to undervaluation of research capabilities in advanced technological countries, as captured by some percentile indicators. Conversely, research-intensive universities exhibit the opposite trend: a reduced lower tail relative to the upper tail, which causes percentile indicators to overestimate their actual research capacity. Research limitations: The descriptions are mathematical facts that are self-evident. Practical implications: Due to variations in citation patterns across countries and institutions, the Ptop 10%/P and Ptop 1%/P ratios are not universal predictors of breakthrough research. Evaluations should move away from these metrics. Relying on inappropriate citation-based measures could lead to poor decision-making in research policy, undermining the effectiveness of research strategies and their outcomes.
- Abstract（参考訳）: 目的: 各国の研究能力の評価は、しばしば、画期的な進歩を達成する能力の誤認を招きかねない。
これらの評価は一般的に日本を発展途上国と分類し、その顕著な科学的地位と矛盾する。
本研究の目的は、そのような不正確な評価の根本原因を解明し、より信頼性の高い評価を行う方法を提案することである。
設計/方法論/アプローチ: この研究は、ブレークスルー研究の指標として、最高パーセントの引用指標の有効性を評価する。
選択された国と研究トピックのケーススタディを用いて、対数正規励振分布からの偏差がこれらのパーセンタイル指標の精度に与える影響を調べた。
同様の分析をライデンランキングの大学データを用いて実施し,機関レベルでの引用分布の偏差について検討した。
研究によると、引用分布の膨張した低い尾は、一部のパーセンタイル指標によって捉えられた先進技術諸国の研究能力の過小評価につながる。
逆に、研究集約型大学は反対の傾向を示しており、上尾に対する下尾の減少は、パーセンタイル指標が実際の研究能力を過大評価する原因となっている。
研究制限: 記述は自己明快な数学的事実である。
実践的意味:国や機関間の引用パターンの変化により、Ptop 10%/P比とPtop 1%/P比はブレークスルー研究の普遍的な予測要因ではない。
評価はこれらの指標から離れるべきです。
不適切な引用に基づく措置を考慮すれば、研究方針における意思決定の質が低下し、研究戦略の有効性と結果が損なわれる可能性がある。
関連論文リスト
- Biases in gendered citation practices: an exploratory study and some reflections on the Matthew and Matilda effects [2.0277446818410994]
本稿では,ソフトウェア工学文献における性的な引用の実践を分析することを目的とする。
この結果から,SE分野における引用実践の公平性を達成するためには,まだいくつかの努力が必要であることが示唆された。
論文 参考訳（メタデータ） (2024-09-18T19:53:41Z) - Guardians of the Machine Translation Meta-Evaluation: Sentinel Metrics Fall In! [80.3129093617928]
毎年、機械翻訳会議(WMT)において、メトリクス共有タスクオーガナイザは、機械翻訳(MT)メトリクスのメタ評価を行う。
この研究は、現在WMTで採用されているメタ評価フレームワークに関する2つの問題を強調し、メトリクスランキングへの影響を評価する。
本稿では,メタ評価プロセスの正確性,堅牢性,公正性を精査するために設計されたセンチネルメトリクスの概念を紹介する。
論文 参考訳（メタデータ） (2024-08-25T13:29:34Z) - Distinct citation distributions complicate research evaluations. A single indicator that universally reveals research efficiency cannot be formulated [0.0]
サイズに依存しないトップパーセンタイルに基づく指標は、地域出版物のグローバルなランクが権力法に適合するときに正確である。
最も引用されていない論文の偏差は、国で頻繁に見られ、高い影響因子を持つ全てのジャーナルで発生します。
論文 参考訳（メタデータ） (2024-07-12T10:16:21Z) - Challenges and Considerations in the Evaluation of Bayesian Causal Discovery [49.0053848090947]
因果発見の不確実性を表現することは、実験設計において重要な要素であり、より広く、安全で信頼性の高い因果決定のために重要である。
単一の推定因果グラフとモデルパラメータによる評価に依存する非ベイズ因果発見とは異なり、因果発見はその量の性質に起因する課題を提示する。
評価に最も適した指標についてのコンセンサスはない。
論文 参考訳（メタデータ） (2024-06-05T12:45:23Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [55.33653554387953]
パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。
本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。
1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Semantic Properties of cosine based bias scores for word embeddings [48.0753688775574]
本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。
これらの要件について,コサインに基づくスコアを文献から分析する。
これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
論文 参考訳（メタデータ） (2024-01-27T20:31:10Z) - Predicting Survey Response with Quotation-based Modeling: A Case Study
on Favorability towards the United States [0.0]
そこで我々は,機械学習を用いて探索応答を推定する先駆的手法を提案する。
我々は、さまざまな国籍の個人から引用された膨大なコーパスを活用して、彼らの好意のレベルを抽出する。
自然言語処理技術と機械学習アルゴリズムを組み合わせて,質問応答の予測モデルを構築した。
論文 参考訳（メタデータ） (2023-05-23T14:11:01Z) - On predicting research grants productivity [0.38073142980732994]
文献学的特徴が研究助成金の成功を予測できるかどうかを分析した。
研究科目と出版史は生産性を予測する役割を担っている。
最高の結果がテキストベースの属性よりも優れているが,評価された特徴は高い差別性は得られなかった。
論文 参考訳（メタデータ） (2021-06-20T14:21:46Z) - A Measure of Research Taste [91.3755431537592]
生産性と味の両方に報いる引用に基づく尺度を提案する。
提示された尺度capは、出版物とその量の影響のバランスをとる。
本研究では, 生物学, 計算機科学, 経済学, 物理分野の研究者を対象に, capの特性を解析した。
論文 参考訳（メタデータ） (2021-05-17T18:01:47Z) - Machine Learning and Data Science approach towards trend and predictors
analysis of CDC Mortality Data for the USA [0.0]
調査では、性別やその中心的な傾向に関わらず(サンプルに基づいて)平均寿命が決定された。
この研究は、機械学習の予測が、データにとって明らかなほど有効ではないことを示しています。
論文 参考訳（メタデータ） (2020-09-11T12:46:57Z) - A Survey on Causal Inference [64.45536158710014]
因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。
観測データに対する様々な因果効果推定法が誕生した。
論文 参考訳（メタデータ） (2020-02-05T21:35:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。