Fugu-MT 論文翻訳(概要): A Critical Assessment of State-of-the-Art in Entity Alignment

論文の概要: A Critical Assessment of State-of-the-Art in Entity Alignment

arxiv url: http://arxiv.org/abs/2010.16314v2
Date: Wed, 17 Mar 2021 14:54:05 GMT
ステータス: 処理完了
システム内更新日: 2022-10-01 16:10:17.936046
Title: A Critical Assessment of State-of-the-Art in Entity Alignment
Title（参考訳）: エンティティアライメントにおける最先端の批判的評価
Authors: Max Berrendorf and Ludwig Wacker and Evgeniy Faerman
Abstract要約: 本稿では,知識グラフにおけるエンティティアライメントのタスクに対する2つの最先端(SotA)手法について検討する。まず、ベンチマークプロセスについて慎重に検討し、いくつかの欠点を特定した。
参考スコア（独自算出の注目度）: 1.7725414095035827
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we perform an extensive investigation of two state-of-the-art (SotA) methods for the task of Entity Alignment in Knowledge Graphs. Therefore, we first carefully examine the benchmarking process and identify several shortcomings, which make the results reported in the original works not always comparable. Furthermore, we suspect that it is a common practice in the community to make the hyperparameter optimization directly on a test set, reducing the informative value of reported performance. Thus, we select a representative sample of benchmarking datasets and describe their properties. We also examine different initializations for entity representations since they are a decisive factor for model performance. Furthermore, we use a shared train/validation/test split for a fair evaluation setting in which we evaluate all methods on all datasets. In our evaluation, we make several interesting findings. While we observe that most of the time SotA approaches perform better than baselines, they have difficulties when the dataset contains noise, which is the case in most real-life applications. Moreover, we find out in our ablation study that often different features of SotA methods are crucial for good performance than previously assumed. The code is available at https://github.com/mberr/ea-sota-comparison.
Abstract（参考訳）: 本稿では,知識グラフにおけるエンティティアライメントのタスクに対する2つの最先端(sota)手法の広範な検討を行う。そこで,まずベンチマークプロセスを慎重に検討し,いくつかの欠点を同定し,その結果を必ずしも比較できないようにした。さらに、ハイパーパラメータの最適化をテストセット上で直接行うことはコミュニティの一般的なプラクティスであると考え、報告されたパフォーマンスの情報的価値を低減している。そこで、ベンチマークデータセットの代表サンプルを選択し、それらの特性を説明する。また,モデル性能の決定的要因であるエンティティ表現の異なる初期化についても検討する。さらに,全データに対する全メソッドを評価する公平な評価設定のために,共有トレイン/バリデーション/テスト分割を用いる。本評価では,いくつかの興味深い結果が得られた。 sotaアプローチのほとんどがベースラインよりもパフォーマンスが良いと観察していますが、データセットにノイズが含まれている場合、それらは困難です。さらに,SotA手法の異なる特徴が,従来想定されていたよりも優れた性能に不可欠であることを示す。コードはhttps://github.com/mberr/ea-sota-comparisonで入手できる。

関連論文リスト

SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
論文参考訳（メタデータ） (2024-11-14T17:53:35Z)
Bayesian Detector Combination for Object Detection with Crowdsourced Annotations [49.43709660948812]
制約のない画像できめ細かなオブジェクト検出アノテーションを取得するのは、時間がかかり、コストがかかり、ノイズに悩まされる。ノイズの多いクラウドソースアノテーションでオブジェクト検出をより効果的に訓練するための新しいベイズ検出結合(BDC)フレームワークを提案する。 BDCはモデルに依存しず、アノテータのスキルレベルに関する事前の知識を必要とせず、既存のオブジェクト検出モデルとシームレスに統合される。
論文参考訳（メタデータ） (2024-07-10T18:00:54Z)
Recent Advances in Named Entity Recognition: A Comprehensive Survey and Comparative Study [8.91661466156389]
NERに対する最近のポピュラーなアプローチの概要を紹介する。我々は、強化学習とグラフベースのアプローチについて論じ、NERの性能向上におけるそれらの役割を強調した。我々は,異なる特徴を持つ各種データセット上での主NER実装の性能を評価する。
論文参考訳（メタデータ） (2024-01-19T17:21:05Z)
Benchmarking a Benchmark: How Reliable is MS-COCO? [0.0]
MS-COCOの再注釈であるSama-COCOは、形状解析パイプラインを利用して潜在的なバイアスを発見するために用いられる。モデルは、異なるアノテーション条件の影響を調べるために、両方のデータセットでトレーニングされ、評価される。
論文参考訳（メタデータ） (2023-11-05T16:55:40Z)
A Call to Reflect on Evaluation Practices for Age Estimation: Comparative Analysis of the State-of-the-Art and a Unified Benchmark [2.156208381257605]
我々は、最先端の顔年齢推定法について、広範囲に比較分析を行う。その結果,他の要因と比較すると,手法間の性能差は無視できることがわかった。バックボーンモデルとしてFaRLを用い,すべての公開データセット上での有効性を実証する。
論文参考訳（メタデータ） (2023-07-10T14:02:31Z)
Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
論文参考訳（メタデータ） (2023-04-04T22:45:50Z)
Modeling Entities as Semantic Points for Visual Information Extraction in the Wild [55.91783742370978]
文書画像から鍵情報を正確かつ堅牢に抽出する手法を提案する。我々は、エンティティを意味的ポイントとして明示的にモデル化する。つまり、エンティティの中心点は、異なるエンティティの属性と関係を記述する意味情報によって豊かになる。提案手法は,従来の最先端モデルと比較して,エンティティラベルとリンクの性能を著しく向上させることができる。
論文参考訳（メタデータ） (2023-03-23T08:21:16Z)
CVTT: Cross-Validation Through Time [0.0]
我々は、メソッドの連続的なパフォーマンスをなくすことで、ジョイントデータ-メソッド効果に関する貴重な洞察を失う可能性があると論じる。提案手法を用いて、一般的なRecSysアルゴリズムの性能を様々なメトリクスやデータセットに対して詳細に分析する。以上の結果から,モデルの性能は時間とともに著しく変化し,データと評価設定の両方が顕著な影響を及ぼす可能性が示唆された。
論文参考訳（メタデータ） (2022-05-11T10:30:38Z)
A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文参考訳（メタデータ） (2022-03-10T08:58:18Z)
On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文参考訳（メタデータ） (2022-02-25T13:47:09Z)
On the Ambiguity of Rank-Based Evaluation of Entity Alignment or Link Prediction Methods [27.27230441498167]
本稿では,知識グラフから情報を得る方法として,リンク予測とエンティティアライメント(Entity Alignment)の2つのファミリについて,より詳しく検討する。特に、既存のスコアはすべて、異なるデータセット間で結果を比較するのにほとんど役に立たないことを実証する。これは結果の解釈において様々な問題を引き起こしており、誤解を招く結論を裏付ける可能性がある。
論文参考訳（メタデータ） (2020-02-17T12:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。