論文の概要: A Critical Re-evaluation of Benchmark Datasets for (Deep) Learning-Based Matching Algorithms

• arxiv url: http://arxiv.org/abs/2307.01231v2
• Date: Mon, 13 Nov 2023 04:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 21:14:59.917246
• Title: A Critical Re-evaluation of Benchmark Datasets for (Deep) Learning-Based Matching Algorithms
• Title（参考訳）: 深い)学習に基づくマッチングアルゴリズムのためのベンチマークデータセットの批判的再評価
• Authors: George Papadakis, Nishadi Kirielle, Peter Christen, Themis Palpanas
• Abstract要約: 確立された13のデータセットの難易度と適切性を評価するための4つの手法を提案する。 一般的なデータセットの多くは、かなり簡単な分類タスクを処理している。 ベンチマークデータセットを得るための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 11.264467955516706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Entity resolution (ER) is the process of identifying records that refer to the same entities within one or across multiple databases. Numerous techniques have been developed to tackle ER challenges over the years, with recent emphasis placed on machine and deep learning methods for the matching phase. However, the quality of the benchmark datasets typically used in the experimental evaluations of learning-based matching algorithms has not been examined in the literature. To cover this gap, we propose four different approaches to assessing the difficulty and appropriateness of 13 established datasets: two theoretical approaches, which involve new measures of linearity and existing measures of complexity, and two practical approaches: the difference between the best non-linear and linear matchers, as well as the difference between the best learning-based matcher and the perfect oracle. Our analysis demonstrates that most of the popular datasets pose rather easy classification tasks. As a result, they are not suitable for properly evaluating learning-based matching algorithms. To address this issue, we propose a new methodology for yielding benchmark datasets. We put it into practice by creating four new matching tasks, and we verify that these new benchmarks are more challenging and therefore more suitable for further advancements in the field.
• Abstract（参考訳）: エンティティ解決(ER)は、1つまたは複数のデータベースで同じエンティティを参照するレコードを識別するプロセスである。 近年、マッチングフェーズにおける機械学習とディープラーニングの手法に重点が置かれ、er課題に取り組むために多くの技術が開発されている。 しかし、学習に基づくマッチングアルゴリズムの実験的評価で一般的に用いられるベンチマークデータセットの品質は、文献では検討されていない。 このギャップを補うために,13の確立したデータセットの難易度と妥当性を評価するための4つの異なるアプローチを提案する。新しい線形性尺度と既存の複雑性尺度を含む2つの理論的アプローチと,最良の非線形と線形マッチングの違いと,最高の学習ベースのマッチングと完璧なオラクルの違いという,2つの実践的アプローチを提案する。 分析の結果、一般的なデータセットのほとんどが、かなり簡単に分類できることがわかった。 その結果、学習に基づくマッチングアルゴリズムを適切に評価するには適していない。 この問題に対処するため,ベンチマークデータセットを出力する新しい手法を提案する。 4つの新しいマッチングタスクを作成して実践し、これらの新しいベンチマークがより困難であり、それゆえこの分野のさらなる進歩に適していることを検証します。

関連論文リスト

• Evaluating LLMs on Entity Disambiguation in Tables [0.9786690381850356]
  本研究は,Alligator(旧s-elbat),Dagobah,TURL,TableLlamaの4つのSTI SOTAアプローチを広範囲に評価することを提案する。 また, GPT-4o と GPT-4o-mini は, 様々な公開ベンチマークにおいて優れており, 評価に含めている。
  論文  参考訳（メタデータ） (2024-08-12T18:01:50Z)
• Multivariate Time Series Anomaly Detection: Fancy Algorithms and Flawed Evaluation Methodology [2.043517674271996]
  本稿では、MVTS異常検出の文脈において、正常によいプロトコルが弱点を持つ可能性について論じる。 本稿では,PCA(Principal Components Analysis)に基づくシンプルな,かつ難しいベースラインを提案する。このベースラインは,最近のDeep Learning(DL)ベースのアプローチにおいて,一般的なベンチマークデータセットよりも驚くほど優れています。
  論文  参考訳（メタデータ） (2023-08-24T20:24:12Z)
• A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
  類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。 私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。 2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%～30%、ハードケースでは36%～43%である。
  論文  参考訳（メタデータ） (2023-03-23T16:15:03Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
  現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。 そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。 実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-05-12T02:23:25Z)
• Multiple-criteria Based Active Learning with Fixed-size Determinantal Point Processes [43.71112693633952]
  本稿では,情報性,代表性,多様性の3つの相補的基準を取り入れた,複数基準に基づく能動学習アルゴリズムを提案する。 提案手法は,他の複数基準のALアルゴリズムよりも性能が優れ,安定であることを示す。
  論文  参考訳（メタデータ） (2021-07-04T13:22:54Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
  マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。 また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
  論文  参考訳（メタデータ） (2021-01-02T07:13:41Z)
• ALdataset: a benchmark for pool-based active learning [1.9308522511657449]
  アクティブ・ラーニング(AL)は機械学習(ML)のサブフィールドであり、学習アルゴリズムは新しいデータポイントをラベル付けするためにユーザ/オーラルを対話的にクエリすることで、トレーニングサンプルの少ない精度で学習できる。 プールベースのALは多くのMLタスクにおいて、ラベルのないデータが豊富にあるが、ラベルを得るのは難しい。 提案手法は,最近提案された手法と古典的手法の両方で,様々なアクティブな学習戦略の実験結果を示し,その結果から洞察を得た。
  論文  参考訳（メタデータ） (2020-10-16T04:37:29Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Fase-AL -- Adaptation of Fast Adaptive Stacking of Ensembles for Supporting Active Learning [0.0]
  本研究は,Active Learning を用いて非ラベルのインスタンスで分類モデルを誘導する FASE-AL アルゴリズムを提案する。 このアルゴリズムは、正しく分類されたインスタンスの割合で有望な結果を得る。
  論文  参考訳（メタデータ） (2020-01-30T17:25:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。