論文の概要: A Critical Assessment of State-of-the-Art in Entity Alignment
- arxiv url: http://arxiv.org/abs/2010.16314v2
- Date: Wed, 17 Mar 2021 14:54:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 16:10:17.936046
- Title: A Critical Assessment of State-of-the-Art in Entity Alignment
- Title(参考訳): エンティティアライメントにおける最先端の批判的評価
- Authors: Max Berrendorf and Ludwig Wacker and Evgeniy Faerman
- Abstract要約: 本稿では,知識グラフにおけるエンティティアライメントのタスクに対する2つの最先端(SotA)手法について検討する。
まず、ベンチマークプロセスについて慎重に検討し、いくつかの欠点を特定した。
- 参考スコア(独自算出の注目度): 1.7725414095035827
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we perform an extensive investigation of two state-of-the-art
(SotA) methods for the task of Entity Alignment in Knowledge Graphs. Therefore,
we first carefully examine the benchmarking process and identify several
shortcomings, which make the results reported in the original works not always
comparable. Furthermore, we suspect that it is a common practice in the
community to make the hyperparameter optimization directly on a test set,
reducing the informative value of reported performance. Thus, we select a
representative sample of benchmarking datasets and describe their properties.
We also examine different initializations for entity representations since they
are a decisive factor for model performance. Furthermore, we use a shared
train/validation/test split for a fair evaluation setting in which we evaluate
all methods on all datasets. In our evaluation, we make several interesting
findings. While we observe that most of the time SotA approaches perform better
than baselines, they have difficulties when the dataset contains noise, which
is the case in most real-life applications. Moreover, we find out in our
ablation study that often different features of SotA methods are crucial for
good performance than previously assumed. The code is available at
https://github.com/mberr/ea-sota-comparison.
- Abstract(参考訳): 本稿では,知識グラフにおけるエンティティアライメントのタスクに対する2つの最先端(sota)手法の広範な検討を行う。
そこで,まずベンチマークプロセスを慎重に検討し,いくつかの欠点を同定し,その結果を必ずしも比較できないようにした。
さらに、ハイパーパラメータの最適化をテストセット上で直接行うことはコミュニティの一般的なプラクティスであると考え、報告されたパフォーマンスの情報的価値を低減している。
そこで、ベンチマークデータセットの代表サンプルを選択し、それらの特性を説明する。
また,モデル性能の決定的要因であるエンティティ表現の異なる初期化についても検討する。
さらに,全データに対する全メソッドを評価する公平な評価設定のために,共有トレイン/バリデーション/テスト分割を用いる。
本評価では,いくつかの興味深い結果が得られた。
sotaアプローチのほとんどがベースラインよりもパフォーマンスが良いと観察していますが、データセットにノイズが含まれている場合、それらは困難です。
さらに,SotA手法の異なる特徴が,従来想定されていたよりも優れた性能に不可欠であることを示す。
コードはhttps://github.com/mberr/ea-sota-comparisonで入手できる。
関連論文リスト
- A survey on recent advances in named entity recognition [10.02138130221506]
NERに対する最近のポピュラーなアプローチの概要を紹介する。
また,Large Language Models (LLMs) を含むグラフおよびトランスフォーマーベースの手法についても検討する。
我々は,異なる特徴を持つ各種データセット上での主NER実装の性能を評価する。
論文 参考訳(メタデータ) (2024-01-19T17:21:05Z) - Benchmarking a Benchmark: How Reliable is MS-COCO? [0.0]
MS-COCOの再注釈であるSama-COCOは、形状解析パイプラインを利用して潜在的なバイアスを発見するために用いられる。
モデルは、異なるアノテーション条件の影響を調べるために、両方のデータセットでトレーニングされ、評価される。
論文 参考訳(メタデータ) (2023-11-05T16:55:40Z) - Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。
実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。
学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
論文 参考訳(メタデータ) (2023-04-04T22:45:50Z) - Modeling Entities as Semantic Points for Visual Information Extraction
in the Wild [55.91783742370978]
文書画像から鍵情報を正確かつ堅牢に抽出する手法を提案する。
我々は、エンティティを意味的ポイントとして明示的にモデル化する。つまり、エンティティの中心点は、異なるエンティティの属性と関係を記述する意味情報によって豊かになる。
提案手法は,従来の最先端モデルと比較して,エンティティラベルとリンクの性能を著しく向上させることができる。
論文 参考訳(メタデータ) (2023-03-23T08:21:16Z) - What is the state of the art? Accounting for multiplicity in machine
learning benchmark performance [0.0]
SOTAの最大性能を推定として用いることは偏りのある推定器であり、過度に楽観的な結果を与える。
精度が高い場合に、どのように影響が制限されるかを示す。
実世界の例である、2020年のKaggleコンペティションについて論じる。
論文 参考訳(メタデータ) (2023-03-10T10:32:18Z) - CVTT: Cross-Validation Through Time [0.0]
我々は、メソッドの連続的なパフォーマンスをなくすことで、ジョイントデータ-メソッド効果に関する貴重な洞察を失う可能性があると論じる。
提案手法を用いて、一般的なRecSysアルゴリズムの性能を様々なメトリクスやデータセットに対して詳細に分析する。
以上の結果から,モデルの性能は時間とともに著しく変化し,データと評価設定の両方が顕著な影響を及ぼす可能性が示唆された。
論文 参考訳(メタデータ) (2022-05-11T10:30:38Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳(メタデータ) (2022-02-25T13:47:09Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳(メタデータ) (2020-10-13T21:33:24Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳(メタデータ) (2020-06-10T20:20:10Z) - On the Ambiguity of Rank-Based Evaluation of Entity Alignment or Link
Prediction Methods [27.27230441498167]
本稿では,知識グラフから情報を得る方法として,リンク予測とエンティティアライメント(Entity Alignment)の2つのファミリについて,より詳しく検討する。
特に、既存のスコアはすべて、異なるデータセット間で結果を比較するのにほとんど役に立たないことを実証する。
これは結果の解釈において様々な問題を引き起こしており、誤解を招く結論を裏付ける可能性がある。
論文 参考訳(メタデータ) (2020-02-17T12:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。