Fugu-MT 論文翻訳(概要): Global Benchmark Database

論文の概要: Global Benchmark Database

arxiv url: http://arxiv.org/abs/2405.10045v2
Date: Thu, 27 Jun 2024 08:12:59 GMT
ステータス: 処理完了
システム内更新日: 2024-06-28 19:06:57.354950
Title: Global Benchmark Database
Title（参考訳）: グローバルベンチマークデータベース
Authors: Markus Iser, Christoph Jabs,
Abstract要約: Global Benchmark Database(GBD)は、ベンチマークインスタンスとそのメタデータのプロビジョニングと持続的メンテナンスのための総合的なツールスイートである。本稿では,GBDのデータモデルとそのインタフェースについて紹介し,それらとのインタラクションの例を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents Global Benchmark Database (GBD), a comprehensive suite of tools for provisioning and sustainably maintaining benchmark instances and their metadata. The availability of benchmark metadata is essential for many tasks in empirical research, e.g., for the data-driven compilation of benchmarks, the domain-specific analysis of runtime experiments, or the instance-specific selection of solvers. In this paper, we introduce the data model of GBD as well as its interfaces and provide examples of how to interact with them. We also demonstrate the integration of custom data sources and explain how to extend GBD with additional problem domains, instance formats and feature extractors.
Abstract（参考訳）: 本稿では,Global Benchmark Database(GBD)について述べる。ベンチマークメタデータの可用性は、例えば、ベンチマークのデータ駆動コンパイル、ランタイム実験のドメイン固有の分析、ソルバのインスタンス固有の選択など、経験的な研究において多くのタスクに不可欠である。本稿では,GBDのデータモデルとそのインタフェースについて紹介し,それらとのインタラクションの例を示す。また、カスタムデータソースの統合を実演し、GBDを新たな問題領域、インスタンス形式、特徴抽出器で拡張する方法を説明します。

関連論文リスト

BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
大規模言語モデル(LLM)は、様々な領域でますます重要になっている。 BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。 BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
論文参考訳（メタデータ） (2024-10-01T15:11:24Z)
InsightBench: Evaluating Business Analytics Agents Through Multi-Step Insight Generation [79.09622602860703]
3つの重要な特徴を持つベンチマークデータセットであるInsightBenchを紹介します。財務やインシデント管理といったさまざまなビジネスユースケースを表す100のデータセットで構成されている。単一のクエリに回答することに焦点を当てた既存のベンチマークとは異なり、InsightBenchは、エンドツーエンドのデータ分析を実行する能力に基づいてエージェントを評価する。
論文参考訳（メタデータ） (2024-07-08T22:06:09Z)
DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文参考訳（メタデータ） (2024-07-01T18:58:22Z)
Generalizable Metric Network for Cross-domain Person Re-identification [55.71632958027289]
クロスドメイン(ドメインの一般化)シーンは、Re-IDタスクにおいて課題となる。既存のほとんどのメソッドは、すべてのドメインのドメイン不変またはロバストな機能を学ぶことを目的としています。本稿では,サンプルペア空間における標本類似性を調べるために,GMN(Generalizable Metric Network)を提案する。
論文参考訳（メタデータ） (2023-06-21T03:05:25Z)
OPTION: OPTImization Algorithm Benchmarking ONtology [4.060078409841919]
OPTION(OPTImization algorithm benchmarking ONtology)は、ベンチマークプラットフォーム用のセマンティックにリッチでマシン可読なデータモデルである。私たちのオントロジーは、ベンチマークプロセスに関わるコアエンティティのセマンティックアノテーションに必要な語彙を提供します。また、自動データ統合、相互運用性の改善、強力なクエリ機能を提供する。
論文参考訳（メタデータ） (2022-11-21T10:34:43Z)
Improving Multi-Domain Generalization through Domain Re-labeling [31.636953426159224]
本稿では,事前特定ドメインラベルと一般化性能の関連性について検討する。マルチドメイン一般化のための一般的なアプローチであるMulDEnsを導入し,ERMをベースとした深層アンサンブルバックボーンを用いた。我々は、MulDEnsがデータセット固有の拡張戦略やトレーニングプロセスの調整を必要としないことを示す。
論文参考訳（メタデータ） (2021-12-17T23:21:50Z)
OPTION: OPTImization Algorithm Benchmarking ONtology [4.060078409841919]
OPTION (OPTImization algorithm benchmarking ONtology) は、ベンチマークアルゴリズムのための意味的にリッチでマシン可読なデータモデルである。私たちのオントロジーは、ベンチマークプロセスに関わるコアエンティティのセマンティックアノテーションに必要な語彙を提供します。また、自動データ統合、相互運用性の改善、強力なクエリ機能、推論のための手段も提供する。
論文参考訳（メタデータ） (2021-04-24T06:11:30Z)
Mapping Patterns for Virtual Knowledge Graphs [71.61234136161742]
仮想知識グラフ(VKG)は、レガシーデータソースの統合とアクセスのための最も有望なパラダイムの1つである。データ管理、データ分析、概念モデリングにおいて研究された、確立された方法論とパターンに基づいて構築する。検討されたVKGシナリオに基づいて,私たちのカタログを検証し,そのパターンの大部分をカバーすることを示す。
論文参考訳（メタデータ） (2020-12-03T13:54:52Z)
Open Graph Benchmark: Datasets for Machine Learning on Graphs [86.96887552203479]
スケーラブルで堅牢で再現可能なグラフ機械学習(ML)の研究を容易にするために,Open Graph Benchmark(OGB)を提案する。 OGBデータセットは大規模で、複数の重要なグラフMLタスクを含み、さまざまなドメインをカバーする。各データセットに対して,有意義なアプリケーション固有のデータ分割と評価指標を用いた統一評価プロトコルを提供する。
論文参考訳（メタデータ） (2020-05-02T03:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。