論文の概要: Distinct citation distributions complicate research evaluations. A single indicator that universally reveals research efficiency cannot be formulated

• arxiv url: http://arxiv.org/abs/2407.09138v1
• Date: Fri, 12 Jul 2024 10:16:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 19:45:53.734294
• Title: Distinct citation distributions complicate research evaluations. A single indicator that universally reveals research efficiency cannot be formulated
• Title（参考訳）: 研究効率を普遍的に明らかにする単一の指標は定式化できない
• Authors: Alonso Rodríguez-Navarro,
• Abstract要約: サイズに依存しないトップパーセンタイルに基づく指標は、地域出版物のグローバルなランクが権力法に適合するときに正確である。 最も引用されていない論文の偏差は、国で頻繁に見られ、高い影響因子を持つ全てのジャーナルで発生します。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Purpose: Analyze the diversity of citation distributions to publications in different research topics to investigate the accuracy of size-independent, rank-based indicators. Top percentile-based indicators are the most common indicators of this type, and the evaluations of Japan are the most evident misjudgments. Design/methodology/approach: The distributions of citations to publications from countries and in journals in several research topics were analyzed along with the corresponding global publications using histograms with logarithmic binning, double rank plots, and normal probability plots of log-transformed numbers of citations. Findings: Size-independent, top percentile-based indicators are accurate when the global ranks of local publications fit a power law, but deviations in the least cited papers are frequent in countries and occur in all journals with high impact factors. In these cases, a single indicator is misleading. Comparisons of proportions of uncited papers are the best way to predict these deviations. Research limitations: The study is fundamentally analytical; its results describe mathematical facts that are self-evident. Practical implications: Respectable institutions, such as the OECD, European Commission, US National Science Board, and others, produce research country rankings and individual evaluations using size-independent percentile indicators that are misleading in many countries. These misleading evaluations should be discontinued because they cause confusion among research policymakers and lead to incorrect research policies. Originality/value: Studies linking the lower tail of citation distribution, including uncited papers, to percentile research indicators have not been performed previously. The present results demonstrate that studies of this type are necessary to find reliable procedures for research assessments.
• Abstract（参考訳）: 目的:異なる研究分野の出版物に対する引用分布の多様性を分析し,大きさに依存しないランクに基づく指標の精度について検討する。 トップパーセンタイルに基づく指標は、このタイプの最も一般的な指標であり、日本の評価は最も顕著な誤判断である。 設計・方法論・アプローチ:複数の研究トピックにおける国・雑誌からの引用の分布を、対数的双対、二階プロット、対数変換された引用数の正規確率プロットを用いて、対応するグローバルな出版物とともに分析した。 発見: 大きさに依存しない、トップパーセンタイルに基づく指標は、地域出版物のグローバルな地位が権力法に適合するときに正確であるが、最も引用されていない論文における偏差は、国で頻繁に見られ、高い影響因子を持つ全ての雑誌で発生する。 これらの場合、一つの指標が誤解を招く。 暗黙の論文の比率を比較することは、これらの偏差を予測する最良の方法である。 研究の限界: この研究は基本的に分析的であり、その結果は自己明快な数学的事実を記述している。 実践的意味: OECD、欧州委員会、米国国家科学委員会など、多くの国で誤解を招く大きさに依存しないパーセンタイル指標を用いて研究国ランキングと個人評価を作成する。 これらの誤解を招く評価は、研究政策立案者の間で混乱を招き、誤った研究方針を導いたため、中止されるべきである。 原性/値: 暗黙の論文を含む引用分布の低い尾をパーセンタイル研究指標に結びつける研究はこれまで行われていない。 本研究は, 信頼性の高い評価方法を見つけるためには, この種の研究が必要であることを実証するものである。

関連論文リスト

• Biases in gendered citation practices: an exploratory study and some reflections on the Matthew and Matilda effects [2.0277446818410994]
  本稿では,ソフトウェア工学文献における性的な引用の実践を分析することを目的とする。 この結果から,SE分野における引用実践の公平性を達成するためには,まだいくつかの努力が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-09-18T19:53:41Z)
• Comprehensive Equity Index (CEI): Definition and Application to Bias Evaluation in Biometrics [47.762333925222926]
  本稿では,機械学習モデルのバイアス行動の定量化のための新しい指標を提案する。 顔認識システムの運用評価に焦点をあて,適用する。
  論文  参考訳（メタデータ） (2024-09-03T14:19:38Z)
• Measuring and Addressing Indexical Bias in Information Retrieval [69.7897730778898]
  PAIRフレームワークは、ランキングドキュメンテーションやIRシステム全体の自動バイアス監査をサポートする。 DUOを導入した後、我々は32kの合成と4.7kの天然文書からなる新しいコーパスで8つのIRシステムの広範な評価を行った。 人間の行動学的研究は、私たちのアプローチを検証し、私たちのバイアスメトリクスが、いつ、どのように指標バイアスが読者の意見を変えるかを予測するのに役立ちます。
  論文  参考訳（メタデータ） (2024-06-06T17:42:37Z)
• Semantic Properties of cosine based bias scores for word embeddings [48.0753688775574]
  本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。 これらの要件について,コサインに基づくスコアを文献から分析する。 これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
  論文  参考訳（メタデータ） (2024-01-27T20:31:10Z)
• The Impact of Differential Feature Under-reporting on Algorithmic Fairness [86.275300739926]
  解析的に抽出可能な差分特徴のアンダーレポーティングモデルを提案する。 そして、この種のデータバイアスがアルゴリズムの公正性に与える影響を特徴づける。 我々の結果は、実世界のデータ設定では、アンダーレポートが典型的に格差を増大させることを示している。
  論文  参考訳（メタデータ） (2024-01-16T19:16:22Z)
• Metrics for Dataset Demographic Bias: A Case Study on Facial Expression Recognition [4.336779198334903]
  人口統計バイアスの最も顕著な種類は、データセットにおける人口統計群の表現における統計的不均衡である。 我々はこれらの指標を分類するための分類法を開発し、適切な指標を選択するための実践的なガイドを提供する。 この論文は、データセットバイアスを緩和し、AIモデルの公正性と正確性を改善するために、AIと関連する分野の研究者に貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-28T11:04:18Z)
• Geographic Citation Gaps in NLP Research [63.13508571014673]
  この研究は、地理的な位置と出版の成功との関係について一連の疑問を呈する。 われわれはまず,ACLアンソロジーから7万件の論文のデータセットを作成し,そのメタ情報を抽出し,引用ネットワークを生成した。 論文の受理や引用において地理的に大きな差異があるだけでなく,出版場所やNLPのサブフィールドなどの変数を制御しても,これらの格差は持続することを示す。
  論文  参考訳（メタデータ） (2022-10-26T02:25:23Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• A Systematic Literature Review of Empiricism and Norms of Reporting in Computing Education Research Literature [4.339510167603376]
  本研究の目的は,コンピュータ教育研究(CER)文学における経験主義の報告を特徴付けることである。 2014年と2015年に5つのCER会場で427件の論文のSLRを行った。 80%以上の論文がある種の経験的評価をしていた。
  論文  参考訳（メタデータ） (2021-07-02T16:37:29Z)
• How are journals cited? characterizing journal citations by type of citation [0.0]
  本稿では,引用関数に基づく引用の統計的特徴付けに関する最初の結果を示す。 また,雑誌が受ける支持率と論争の比率を,品質の潜在的指標として特徴づける最初の結果も提示する。
  論文  参考訳（メタデータ） (2021-02-22T14:15:50Z)
• The Demise of Single-Authored Publications in Computer Science: A Citation Network Analysis [0.0]
  私は1940年から2019年までのコンピュータサイエンス文学における単行本の役割を研究するためにDBLPデータベースを分析した。 著者の人口比率、引用統計、一冊の出版物のスコアを計算して、人口統計と受容率について検討する。
  論文  参考訳（メタデータ） (2020-01-02T07:47:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。