論文の概要: OpenPerf: A Benchmarking Framework for the Sustainable Development of
the Open-Source Ecosystem
- arxiv url: http://arxiv.org/abs/2311.15212v1
- Date: Sun, 26 Nov 2023 07:01:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 18:44:39.005316
- Title: OpenPerf: A Benchmarking Framework for the Sustainable Development of
the Open-Source Ecosystem
- Title(参考訳): OpenPerf: オープンソースエコシステムの持続可能な開発のためのベンチマークフレームワーク
- Authors: Fenglin Bi, Fanyu Han, Shengyu Zhao, Jinlu Li, Yanbin Zhang, Wei Wang
- Abstract要約: OpenPerfは、オープンソースエコシステムの持続可能な開発のために設計されたベンチマークフレームワークである。
データサイエンスタスクのベンチマークが3つ、インデックスベースのベンチマークが2つ、標準ベンチマークが1つ実装されています。
私たちは、堅牢なデータ管理、ツール統合、ユーザインターフェース機能を提供するOpenPerf用の包括的なツールキットを開発しました。
- 参考スコア(独自算出の注目度): 6.188178422139467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Benchmarking involves designing scientific test methods, tools, and
frameworks to quantitatively and comparably assess specific performance
indicators of certain test subjects. With the development of artificial
intelligence, AI benchmarking datasets such as ImageNet and DataPerf have
gradually become consensus standards in both academic and industrial fields.
However, constructing a benchmarking framework remains a significant challenge
in the open-source domain due to the diverse range of data types, the wide
array of research issues, and the intricate nature of collaboration networks.
This paper introduces OpenPerf, a benchmarking framework designed for the
sustainable development of the open-source ecosystem. This framework defines 9
task benchmarking tasks in the open-source research, encompassing 3 data types:
time series, text, and graphics, and addresses 6 research problems including
regression, classification, recommendation, ranking, network building, and
anomaly detection. Based on the above tasks, we implemented 3 data science task
benchmarks, 2 index-based benchmarks, and 1 standard benchmark. Notably, the
index-based benchmarks have been adopted by the China Electronics
Standardization Institute as evaluation criteria for open-source community
governance. Additionally, we have developed a comprehensive toolkit for
OpenPerf, which not only offers robust data management, tool integration, and
user interface capabilities but also adopts a Benchmarking-as-a-Service (BaaS)
model to serve academic institutions, industries, and foundations. Through its
application in renowned companies and institutions such as Alibaba, Ant Group,
and East China Normal University, we have validated OpenPerf's pivotal role in
the healthy evolution of the open-source ecosystem.
- Abstract(参考訳): ベンチマークには、特定のテスト対象の特定のパフォーマンス指標を定量的かつ比較的に評価するための、科学的テスト方法、ツール、フレームワークを設計することが含まれる。
人工知能の開発により、imagenetやdataperfといったaiベンチマークデータセットは、学術分野と産業分野の両方で徐々にコンセンサス標準になっている。
しかし、ベンチマークフレームワークの構築は、さまざまなデータタイプ、幅広い研究課題、そしてコラボレーションネットワークの複雑な性質のために、オープンソースドメインにおいて依然として重要な課題である。
本稿では,オープンソースエコシステムの持続可能な開発を目的としたベンチマークフレームワークであるOpenPerfを紹介する。
このフレームワークは、オープンソースの研究で9つのタスクベンチマークタスクを定義し、時系列、テキスト、グラフィックという3つのデータタイプを包含し、回帰、分類、推奨、ランキング、ネットワーク構築、異常検出を含む6つの研究問題に対処する。
上記のタスクに基づいて、3つのデータサイエンスタスクベンチマーク、2つのインデックスベースのベンチマーク、1つの標準ベンチマークを実装した。
特に、インデックスベースのベンチマークは、オープンソースコミュニティガバナンスの評価基準として、China Electronics Standardization Instituteによって採用されている。
さらに私たちは,堅牢なデータ管理,ツール統合,ユーザインターフェース機能を提供するだけでなく,学術機関や産業,財団にサービスを提供するためにbenchmarking-as-a-service(baas)モデルも採用する,openperf用の包括的なツールキットを開発した。
Alibaba、Ant Group、East China Normal Universityといった著名な企業や機関に適用することで、オープンソースエコシステムの健全な進化におけるOpenPerfの重要な役割を検証しました。
関連論文リスト
- AI-Enabled Software and System Architecture Frameworks: Focusing on
smart Cyber-Physical Systems (CPS) [5.593571255686115]
データサイエンスと機械学習(ML)に関連する関心事、例えばデータサイエンティストやデータエンジニアの利害関係者は、まだ既存のアーキテクチャフレームワークには含まれていない。
本稿では,効率的な開発と性能評価のための2つの評価基準を提案する。
10カ国以上の25以上の組織から77人の専門家の意見を収集し、分析し、統合し、提案された枠組みを考案し、検証します。
論文 参考訳(メタデータ) (2023-08-09T21:54:34Z) - FFB: A Fair Fairness Benchmark for In-Processing Group Fairness Methods [57.18130745705417]
本稿では,グループフェアネス手法のベンチマークフレームワークであるFair Fairness Benchmark(textsfFFB)を紹介する。
グループフェアネスの異なる概念を確実にするための最先端手法を包括的に分析する。
論文 参考訳(メタデータ) (2023-06-15T19:51:28Z) - KoLA: Carefully Benchmarking World Knowledge of Large Language Models [56.672981891304005]
我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。
能力モデリングでは、人間の認知を模倣して知識関連能力の4段階の分類を作成し、19ドルのタスクをカバーしている。
データには、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集される新興コーパスの両方を使用し、目に見えないデータを扱う能力と知識の進化を評価することを目的としています。
論文 参考訳(メタデータ) (2023-06-15T17:20:46Z) - Benchmarking Foundation Models with Language-Model-as-an-Examiner [47.345760054595246]
本稿では,新しいベンチマークフレームワークLanguage-Model-as-an-Examinerを提案する。
LMは、その知識に基づいて質問を定式化し、基準のない方法で応答を評価する、知識に富んだ検査者として機能する。
論文 参考訳(メタデータ) (2023-06-07T06:29:58Z) - DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。
私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。
ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文 参考訳(メタデータ) (2022-07-20T17:47:54Z) - Gait Recognition in the Wild: A Large-scale Benchmark and NAS-based
Baseline [95.88825497452716]
歩行ベンチマークにより、研究コミュニティは高性能歩行認識システムの訓練と評価を行うことができる。
GREWは、野生における歩行認識のための最初の大規模データセットである。
SPOSGaitはNASベースの最初の歩行認識モデルである。
論文 参考訳(メタデータ) (2022-05-05T14:57:39Z) - A Benchmarking Study of Embedding-based Entity Alignment for Knowledge
Graphs [30.296238600596997]
エンティティアライメントは、同じ現実世界のオブジェクトを参照する異なる知識グラフ内のエンティティを探します。
KG埋め込みの最近の進歩は、埋め込みに基づくエンティティアライメントの出現を示唆している。
我々は,最近の埋め込み型エンティティアライメントアプローチを23回調査し,その技術と特徴に基づいて分類した。
論文 参考訳(メタデータ) (2020-03-10T05:32:06Z) - Benchmarking Graph Neural Networks [75.42159546060509]
グラフニューラルネットワーク(GNN)は、グラフ上のデータから分析および学習するための標準ツールキットとなっている。
成功している分野が主流で信頼性を持つようになるためには、進捗を定量化するためにベンチマークを開発する必要がある。
GitHubリポジトリは1,800のスターと339のフォークに到達し、提案されているオープンソースフレームワークの有用性を実証している。
論文 参考訳(メタデータ) (2020-03-02T15:58:46Z) - AIBench: An Agile Domain-specific Benchmarking Methodology and an AI
Benchmark Suite [26.820244556465333]
本稿では,アジャイルなドメイン固有のベンチマーク手法を提案する。
我々は10つの重要なエンドツーエンドアプリケーションシナリオを特定し、そのうち16の代表的なAIタスクをAIコンポーネントベンチマークとして抽出する。
最初のエンドツーエンドのインターネットサービスAIベンチマークを提示する。
論文 参考訳(メタデータ) (2020-02-17T07:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。