論文の概要: FAIR evaluation of ten widely used chemical datasets: Lessons learned and recommendations
- arxiv url: http://arxiv.org/abs/2407.15591v1
- Date: Mon, 22 Jul 2024 12:26:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 15:01:15.070001
- Title: FAIR evaluation of ten widely used chemical datasets: Lessons learned and recommendations
- Title（参考訳）: 10種類の化学データセットのFAIR評価--学習と推奨
- Authors: Marcos Da Silveira, Oona Freudenthal, Louis Deladiennee,
- Abstract要約: この文書は、北米とヨーロッパ(EU)市場で見つかった(有害な)物質に関するデータを拡散するデータベースに焦点を当てている。
目標は、これらの物質に関する公開データのFAIRnessを分析することである。
手動と自動の2つの補完的なアプローチを実装している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This document focuses on databases disseminating data on (hazardous) substances found on the North American and the European (EU) market. The goal is to analyse the FAIRness (Findability, Accessibility, Interoperability and Reusability) of published open data on these substances and to qualitatively evaluate to what extend the selected databases already fulfil the criteria set out in the commission draft regulation on a common data chemicals platform. We implemented two complementary approaches: Manual, and Automatic. The manual approach is based on online questionnaires. These questionnaires provide a structured approach to evaluating FAIRness by guiding users through a series of questions related to the FAIR principles. They are particularly useful for initiating discussions on FAIR implementation within research teams and for identifying areas that require further attention. Automated tools for FAIRness assessment, such as F-UJI and FAIR Checker, are gaining prominence and are continuously under development. Unlike manual tools, automated tools perform a series of tests automatically starting from a dereferenceable URL to the data resource to be evaluated. We analysed ten widely adopted datasets managed in Europe and North America. The highest score from automatic analysis was 54/100. The manual analysis shows that several FAIR metrics were satisfied, but not detectable by automatic tools because there is no metadata, or the format of the information was not a standard one. Thus, it was not interpretable by the tool. We present the details of the analysis and tables summarizing the outcomes, the issues, and the suggestions to address these issues.
- Abstract（参考訳）: この文書は、北米とヨーロッパ(EU)市場で見つかった(有害な)物質に関するデータを拡散するデータベースに焦点を当てている。
目標は、これらの物質に関する公開データの FAIRness (Findability, Accessibility, Interoperability and Reusability) を分析し、選択したデータベースの拡張を定性的に評価することである。
手動と自動の2つの補完的アプローチを実装した。
手動によるアプローチは、オンラインアンケートに基づいている。
これらのアンケートは、FAIRの原則に関する一連の質問を通じてユーザを導くことによって、FAIRネスを評価するための構造化されたアプローチを提供する。
特に研究チーム内でのFAIR実装に関する議論の開始や、さらなる注意を要する領域の特定に役立ちます。
F-UJIやFAIR CheckerといったFAIRnessアセスメントの自動化ツールが注目され、継続的な開発が進められている。
手動ツールとは異なり、自動化ツールは、参照可能なURLから評価対象のデータリソースまで、自動で一連のテストを実行する。
ヨーロッパと北米で広く採用されている10のデータセットを分析した。
自動分析の最高スコアは54/100であった。
手作業による分析では、いくつかのFAIRメトリクスが満足しているが、メタデータがない、あるいは情報のフォーマットが標準ではないため、自動ツールでは検出できないことが示されている。
そのため、ツールによって解釈されることはなかった。
本稿では、これらの課題に対処するための結果、課題、提案を要約した分析と表の詳細について述べる。
関連論文リスト
- Survey on Semantic Interpretation of Tabular Data: Challenges and Directions [2.324913904215885]
本調査は,セマンティックテーブル解釈の全体像を概観することを目的としている。
まず31の属性の分類を使ってアプローチを分類し、比較と評価を可能にします。
また、利用可能なツールを調べ、12の基準に基づいて評価する。
論文 参考訳（メタデータ） (2024-11-07T14:28:56Z) - AutoFAIR : Automatic Data FAIRification via Machine Reading [28.683653852643015]
本稿では,データFAIRnessを自動的に向上するアーキテクチャであるAutoFAIRを提案する。
マシン実行可能なアクションをガイドするために、各データとメタデータ操作を、特定のFAIRインジケータと整合させます。
データのファインダビリティ、アクセシビリティ、相互運用性、再利用性の大幅な改善を観察する。
論文 参考訳（メタデータ） (2024-08-07T17:36:58Z) - InsightBench: Evaluating Business Analytics Agents Through Multi-Step Insight Generation [79.09622602860703]
3つの重要な特徴を持つベンチマークデータセットであるInsightBenchを紹介します。
財務やインシデント管理といったさまざまなビジネスユースケースを表す100のデータセットで構成されている。
単一のクエリに回答することに焦点を当てた既存のベンチマークとは異なり、InsightBenchは、エンドツーエンドのデータ分析を実行する能力に基づいてエージェントを評価する。
論文 参考訳（メタデータ） (2024-07-08T22:06:09Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳（メタデータ） (2024-07-01T18:58:22Z) - Towards Robust Evaluation: A Comprehensive Taxonomy of Datasets and Metrics for Open Domain Question Answering in the Era of Large Language Models [0.0]
自然言語処理におけるオープンドメイン質問回答(ODQA)は,大規模知識コーパスを用いて,事実質問に回答するシステムを構築する。
高品質なデータセットは、現実的なシナリオでモデルをトレーニングするために使用されます。
標準化されたメトリクスは、異なるODQAシステム間の比較を容易にする。
論文 参考訳（メタデータ） (2024-06-19T05:43:02Z) - Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。
我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文 参考訳（メタデータ） (2024-05-31T20:15:10Z) - Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。
本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
論文 参考訳（メタデータ） (2024-03-21T10:31:11Z) - InfiAgent-DABench: Evaluating Agents on Data Analysis Tasks [84.7788065721689]
本稿では,データ解析タスクにおけるLSMに基づくエージェントの評価に特化して設計された最初のベンチマークであるInfiAgent-DABenchを紹介する。
このベンチマークには52のCSVファイルから得られた257のデータ分析質問からなるデータセットであるDAEvalが含まれている。
エージェントフレームワーク上に構築し,DABench 上で GPT-3.5 を3.9% 上回る特殊エージェント DAAgent を開発した。
論文 参考訳（メタデータ） (2024-01-10T19:04:00Z) - CSMeD: Bridging the Dataset Gap in Automated Citation Screening for
Systematic Literature Reviews [10.207938863784829]
CSMeDは9つの公開コレクションを統合したメタデータセットである。
CSMeDは自動引用スクリーニングモデルの性能を訓練し評価するための総合的なリソースとして機能する。
我々はCSMeD-FTを導入した。CSMeD-FTは、全文パブリッシュスクリーニングタスクを明示的に評価するために設計された新しいデータセットである。
論文 参考訳（メタデータ） (2023-11-21T09:36:11Z) - Collect, Measure, Repeat: Reliability Factors for Responsible AI Data
Collection [8.12993269922936]
AIのデータ収集は責任ある方法で行うべきだと我々は主張する。
本稿では,データ収集をメトリクスの集合でガイドするResponsible AI(RAI)手法を提案する。
論文 参考訳（メタデータ） (2023-08-22T18:01:27Z) - FETA: Towards Specializing Foundation Models for Expert Task
Applications [49.57393504125937]
ファンデーションモデル(FM)は、ゼロショット学習、高忠実度データ合成、ドメインの一般化など、前例のない機能を示した。
この論文では、FMは、まだ専門家のタスクにおいて、出来の悪いパフォーマンスを保っていることを示します。
本稿では,FMに技術資料の理解を促すことを目的として,その第1のFETAベンチマークを提案する。
論文 参考訳（メタデータ） (2022-09-08T08:47:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。