論文の概要: Could Bibliometrics Reveal Top Science and Technology Achievements and Researchers? The Case for Evaluatology-based Science and Technology Evaluation
- arxiv url: http://arxiv.org/abs/2408.12158v1
- Date: Thu, 22 Aug 2024 06:57:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 14:53:12.241714
- Title: Could Bibliometrics Reveal Top Science and Technology Achievements and Researchers? The Case for Evaluatology-based Science and Technology Evaluation
- Title(参考訳): バイオロメトリは科学とテクノロジーの成果と研究者に貢献できるか? : 評価学に基づく科学技術評価の事例
- Authors: Guoxin Kang, Wanling Gao, Lei Wang, Chunjie Luo, Hainan Ye, Qian He, Shaopeng Dai, Jianfeng Zhan,
- Abstract要約: 評価学に基づく科学技術評価手法を提案する。
このアプローチの中心には、フィールドから派生した8つの重要なコンポーネントを含む拡張評価条件の概念がある。
チップ技術やオープンソースのような特定の分野において、すべての成果の進化と発展を正確に追跡できる完璧な評価モデルを構築します。
- 参考スコア(独自算出の注目度): 5.203905488272949
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: By utilizing statistical methods to analyze bibliographic data, bibliometrics faces inherent limitations in identifying the most significant science and technology achievements and researchers. To overcome this challenge, we present an evaluatology-based science and technology evaluation methodology. At the heart of this approach lies the concept of an extended evaluation condition, encompassing eight crucial components derived from a field. We define four relationships that illustrate the connections among various achievements based on their mapped extended EC components, as well as their temporal and citation links. Within a relationship under an extended evaluation condition, evaluators can effectively compare these achievements by carefully addressing the influence of confounding variables. We establish a real-world evaluation system encompassing an entire collection of achievements, each of which is mapped to several components of an extended EC. Within a specific field like chip technology or open source, we construct a perfect evaluation model that can accurately trace the evolution and development of all achievements in terms of four relationships based on the real-world evaluation system. Building upon the foundation of the perfect evaluation model, we put forth four-round rules to eliminate non-significant achievements by utilizing four relationships. This process allows us to establish a pragmatic evaluation model that effectively captures the essential achievements, serving as a curated collection of the top N achievements within a specific field during a specific timeframe. We present a case study on the top 100 Chip achievements which highlights its practical application and efficacy in identifying significant achievements and researchers that otherwise can not be identified by using bibliometrics.
- Abstract(参考訳): 統計学的手法を用いて文献データを解析することにより、文献学は最も重要な科学と技術の成果と研究者を特定するのに固有の限界に直面している。
この課題を克服するために,評価学に基づく科学技術評価手法を提案する。
このアプローチの中心には、フィールドから派生した8つの重要なコンポーネントを含む拡張評価条件の概念がある。
マッピングされた拡張ECコンポーネントと、時間的および引用的リンクに基づいて、様々な成果間の関係を記述した4つの関係を定義した。
評価条件が拡張された関係において、評価者は、共起変数の影響を慎重に解決することにより、これらの成果を効果的に比較することができる。
我々は,成果の集合全体を含む実世界の評価システムを構築し,それらを拡張ECの複数のコンポーネントにマッピングする。
チップ技術やオープンソースのような特定の分野において、実世界の評価システムに基づく4つの関係から、すべての成果の進化と発展を正確に追跡できる完璧な評価モデルを構築する。
完全評価モデルの基礎を築き,4つの関係を利用して,重要でない成果を排除するための4段階のルールを策定した。
このプロセスにより、特定の時間枠内でトップNの達成点のキュレートされたコレクションとして機能し、重要な達成点を効果的にキャプチャする実用的評価モデルを確立することができる。
本研究は, バイオロメトリを用いて識別できない重要な成果と研究者を識別するための実践的応用と有効性を強調した, トップ100チップの成果に関するケーススタディである。
関連論文リスト
- MMSci: A Multimodal Multi-Discipline Dataset for PhD-Level Scientific Comprehension [59.41495657570397]
我々は、Nature Communications Journalsに掲載されたオープンアクセス科学論文から、マルチモーダルで多分野のデータセットを収集した。
このデータセットは72の科学分野にまたがっており、多様性と品質の両方を保証している。
科学的な数字や内容を理解する上でLMMの能力を総合的に評価するために,様々なタスクと設定のベンチマークを作成した。
論文 参考訳(メタデータ) (2024-07-06T00:40:53Z) - A Comprehensive Survey on Underwater Image Enhancement Based on Deep Learning [51.7818820745221]
水中画像強調(UIE)はコンピュータビジョン研究において重要な課題である。
多数のUIEアルゴリズムが開発されているにもかかわらず、網羅的で体系的なレビューはいまだに欠落している。
論文 参考訳(メタデータ) (2024-05-30T04:46:40Z) - Evaluatology: The Science and Engineering of Evaluation [11.997673313601423]
本稿では,評価の科学と工学を包含する評価学の分野を正式に紹介することを目的とする。
本稿では,様々な分野にまたがって適用可能な概念,用語,理論,方法論を包含して評価するための普遍的な枠組みを提案する。
論文 参考訳(メタデータ) (2024-03-19T13:38:26Z) - Evaluating General-Purpose AI with Psychometrics [43.85432514910491]
本稿では,大規模言語モデルなどの汎用AIシステムの包括的かつ正確な評価の必要性について論じる。
現在の評価手法は、主に特定のタスクのベンチマークに基づいており、これらの汎用AIシステムを適切に評価するには不十分である。
これらの課題に対処するため,タスク指向評価から構成指向評価への移行を提案する。
論文 参考訳(メタデータ) (2023-10-25T05:38:38Z) - Beyond Accuracy: Measuring Representation Capacity of Embeddings to
Preserve Structural and Contextual Information [1.8130068086063336]
埋め込みのテキスト表現能力を測定する手法を提案する。
この研究の背後にある動機は、埋め込みの強さと限界を理解することの重要性にある。
提案手法は, 埋込評価の分野の進展に寄与するだけでなく, 研究者や実践者に定量的な測定力を与える。
論文 参考訳(メタデータ) (2023-09-20T13:21:12Z) - AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models [122.63704560157909]
我々は,人間中心の標準化試験の文脈で基礎モデルを評価するために設計された新しいベンチマークであるAGIEvalを紹介する。
GPT-4, ChatGPT, Text-Davinci-003 など,最先端基盤モデルの評価を行った。
GPT-4はSAT、LSAT、数学の競争で平均的な人事成績を上回り、SAT Mathテストでは95%の精度で、中国国立大学入試では92.5%の精度で合格している。
論文 参考訳(メタデータ) (2023-04-13T09:39:30Z) - GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。
外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
論文 参考訳(メタデータ) (2023-02-16T16:45:36Z) - Revisiting the Gold Standard: Grounding Summarization Evaluation with
Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。
細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。
ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文 参考訳(メタデータ) (2022-12-15T17:26:05Z) - Assessing the State of Self-Supervised Human Activity Recognition using
Wearables [6.777825307593778]
ウェアラブル型ヒューマンアクティビティ認識(HAR)分野における自己指導型学習
自己組織化されたメソッドは、例えば、ドメイン適応やセンサー位置、アクティビティ間の転送など、新しいアプリケーションドメインのホストを可能にする。
論文 参考訳(メタデータ) (2022-02-22T02:21:50Z) - An Extensible Benchmark Suite for Learning to Simulate Physical Systems [60.249111272844374]
我々は、統一されたベンチマークと評価プロトコルへの一歩を踏み出すために、一連のベンチマーク問題を導入する。
本稿では,4つの物理系と,広く使用されている古典的時間ベースおよび代表的なデータ駆動手法のコレクションを提案する。
論文 参考訳(メタデータ) (2021-08-09T17:39:09Z) - Hallmarks of Human-Machine Collaboration: A framework for assessment in
the DARPA Communicating with Computers Program [0.851218146348961]
オープンエンドの複雑なシナリオに係わるシステムを評価するためのフレームワークについて述べる。
成功しているシステムで示さなければならない重要な特性を特定します。
ホールマークは研究の方向性を導くための目標として機能することを意図している。
論文 参考訳(メタデータ) (2021-02-09T17:13:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。