論文の概要: EBES: Easy Benchmarking for Event Sequences

• arxiv url: http://arxiv.org/abs/2410.03399v2
• Date: Tue, 25 Feb 2025 20:02:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 15:24:46.060374
• Title: EBES: Easy Benchmarking for Event Sequences
• Title（参考訳）: EBES: イベントシーケンスのベンチマークを容易にする
• Authors: Dmitry Osin, Igor Udovichenko, Viktor Moskvoretskii, Egor Shvetsov, Evgeny Burnaev,
• Abstract要約: イベントシーケンス(英: Event Sequences、EvS)とは、不規則なサンプリング間隔と分類的特徴と数値的特徴の混合を特徴とするシーケンシャルデータである。 EBESは、シーケンスレベルのターゲットを持つEvS分類のための包括的なベンチマークである。 9つのモダンモデルを実装したオープンソースのPyTorchライブラリとともに、標準化された評価シナリオとプロトコルを備えている。
• 参考スコア（独自算出の注目度）: 17.277513178760348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Event Sequences (EvS) refer to sequential data characterized by irregular sampling intervals and a mix of categorical and numerical features. Accurate classification of these sequences is crucial for various real-life applications, including healthcare, finance, and user interaction. Despite the popularity of the EvS classification task, there is currently no standardized benchmark or rigorous evaluation protocol. This lack of standardization makes it difficult to compare results across studies, which can result in unreliable conclusions and hinder progress in the field. To address this gap, we present EBES, a comprehensive benchmark for EvS classification with sequence-level targets. EBES features standardized evaluation scenarios and protocols, along with an open-source PyTorch library that implements 9 modern models. Additionally, it includes the largest collection of EvS datasets, featuring 10 curated datasets, including a novel synthetic dataset and real-world data with the largest publicly available banking dataset. The library offers user-friendly interfaces for integrating new methods and datasets. Our benchmarking results highlight the unique properties of EvS compared to other sequential data types, provide a performance ranking of modern models with GRU-based models achieving the best results and reveal the challenges associated with robust EvS learning. The goal of EBES is to facilitate reproducible research, expedite progress in the field, and increase the real-world impact of EvS classification techniques.
• Abstract（参考訳）: イベントシーケンス(英: Event Sequences、EvS)とは、不規則なサンプリング間隔と分類的特徴と数値的特徴の混合を特徴とするシーケンシャルデータである。 これらのシーケンスの正確な分類は、医療、ファイナンス、ユーザーインタラクションなど、さまざまな現実的な応用に不可欠である。 EvS分類タスクの人気にもかかわらず、現在標準化されたベンチマークや厳格な評価プロトコルはない。 この標準化の欠如は、研究全体での結果を比較するのを難しくし、信頼性の低い結論を導き、この分野の進歩を妨げる可能性がある。 このギャップに対処するため、EBESは、シーケンスレベルのターゲットを持つEvS分類のための包括的なベンチマークである。 EBESは9つのモダンモデルを実装したオープンソースのPyTorchライブラリとともに、標準化された評価シナリオとプロトコルを備えている。 さらに、EvSデータセットの最大のコレクションが含まれており、10のキュレートされたデータセットが特徴だ。 このライブラリは、新しいメソッドとデータセットを統合するためのユーザフレンドリーなインターフェイスを提供する。 ベンチマークの結果は、他の逐次データ型と比較して、EvSのユニークな特性を強調し、GRUベースのモデルによる最新のモデルのパフォーマンスランキングを提供し、最良の結果を達成するとともに、堅牢なEvS学習に関わる課題を明らかにする。 EBESの目的は、再現可能な研究の促進、分野の進歩の迅速化、EvS分類技術の現実世界への影響を高めることである。

関連論文リスト

• Harnessing Mixed Features for Imbalance Data Oversampling: Application to Bank Customers Scoring [5.091061468748012]
  MGS-GRFは複合機能用に設計されたオーバーサンプリング戦略である。 その結果,MGS-GRFはコヒーレンス(コヒーレンス),すなわち,原データセットにすでに存在する分類的特徴の組み合わせのみを生成できる能力,すなわち連続的特徴と分類的特徴との依存性を維持できる能力の2つの重要な特性を示すことがわかった。
  論文  参考訳（メタデータ） (2025-03-26T08:53:40Z)
• Zero-shot Meta-learning for Tabular Prediction Tasks with Adversarially Pre-trained Transformer [2.1677183904102257]
  本稿では、実世界のデータセットを事前学習することなく、表形式の予測タスクでゼロショットメタ学習を行うことのできるAdversarially Pre-trained Transformer(APT)を提案する。 APTは、異なる合成データセットで意図的にモデルに挑戦する敵対的な合成データエージェントで事前訓練されている。 筆者らのフレームワークは,データセットの特徴をフィルタリングすることなく,小さな分類タスクにおける最先端のパフォーマンスと一致していることを示す。
  論文  参考訳（メタデータ） (2025-02-06T23:58:11Z)
• EMGBench: Benchmarking Out-of-Distribution Generalization and Adaptation for Electromyography [3.5217105746525803]
  本稿では,EMG分類アルゴリズムの分布外性能を評価するため,機械学習を用いた最初の一般化と適応ベンチマークを提案する。 ユーザの意図したジェスチャーをEMG信号で予測することにより、補助技術を制御するウェアラブルソリューションを作成することができる。
  論文  参考訳（メタデータ） (2024-10-31T04:24:03Z)
• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
  Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。 UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。 UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
  論文  参考訳（メタデータ） (2024-09-23T19:05:50Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• Capturing Temporal Components for Time Series Classification [5.70772577110828]
  本研究では,逐次データから抽出した統計的コヒーレントな成分に基づいて学習したテキスト合成表現学習手法を提案する。 マルチスケールな変更空間に基づいて、シーケンシャルデータを類似の統計特性を持つチャンクに分割する教師なしの手法を提案する。 シーケンスベースのエンコーダモデルをマルチタスク設定でトレーニングし、時系列分類のための時間成分から合成表現を学習する。
  論文  参考訳（メタデータ） (2024-06-20T16:15:21Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• MADS: Modulated Auto-Decoding SIREN for time series imputation [9.673093148930874]
  我々は,暗黙のニューラル表現に基づく時系列計算のための新しい自動デコードフレームワークMADSを提案する。 実世界の2つのデータセット上で本モデルを評価し,時系列計算における最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-03T09:08:47Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• High-Level Synthetic Data Generation with Data Set Archetypes [4.13592995550836]
  クラスタ分析は、異なるアルゴリズムの評価と比較に有効なベンチマークに依存している。 データセットのアーキタイプに基づく合成データ生成を提案する。 評価シナリオの言葉による記述からベンチマークを純粋に設定することが可能である。
  論文  参考訳（メタデータ） (2023-03-24T23:45:27Z)
• Detection and Evaluation of Clusters within Sequential Data [58.720142291102135]
  Block Markov Chainsのクラスタリングアルゴリズムは理論的最適性を保証する。 特に、私たちのシーケンシャルデータは、ヒトのDNA、テキスト、動物運動データ、金融市場から派生しています。 ブロックマルコフ連鎖モデルの仮定は、実際に探索データ解析において有意義な洞察を得られることが判明した。
  論文  参考訳（メタデータ） (2022-10-04T15:22:39Z)
• Robust Event Classification Using Imperfect Real-world PMU Data [58.26737360525643]
  本研究では,不完全な実世界のファサー計測単位(PMU)データを用いて,ロバストな事象分類について検討する。 我々は、堅牢なイベント分類器を訓練するための新しい機械学習フレームワークを開発する。
  論文  参考訳（メタデータ） (2021-10-19T17:41:43Z)
• Synthetic Benchmarks for Scientific Research in Explainable Machine Learning [14.172740234933215]
  我々はXAI-Benchをリリースした。XAI-Benchは、合成データセットと、特徴属性アルゴリズムをベンチマークするためのライブラリである。 実世界のデータセットとは異なり、合成データセットは条件付き期待値の効率的な計算を可能にする。 いくつかの評価指標にまたがって一般的な説明可能性手法をベンチマークし、一般的な説明者にとっての障害モードを特定することで、ライブラリのパワーを実証する。
  論文  参考訳（メタデータ） (2021-06-23T17:10:21Z)
• Benchmarking the Benchmark -- Analysis of Synthetic NIDS Datasets [4.125187280299247]
  我々は,より最近で関連する3つのNIDSデータセットにおいて,良性トラフィックの統計的性質を解析した。 以上の結果から,合成データセットと実世界の2つのデータセットの統計的特徴の相違が明らかとなった。
  論文  参考訳（メタデータ） (2021-04-19T03:17:37Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
  本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。 既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。 この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
  論文  参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。