論文の概要: Pre-trained Embeddings for Entity Resolution: An Experimental Analysis [Experiment, Analysis & Benchmark]

• arxiv url: http://arxiv.org/abs/2304.12329v1
• Date: Mon, 24 Apr 2023 08:53:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-26 23:15:10.511866
• Title: Pre-trained Embeddings for Entity Resolution: An Experimental Analysis [Experiment, Analysis & Benchmark]
• Title（参考訳）: エンティティ解決のための事前トレーニングされた埋め込み:実験分析 [実験, 解析, ベンチマーク]
• Authors: Alexandros Zeakis, George Papadakis, Dimitrios Skoutas, Manolis Koubarakis
• Abstract要約: 我々は、17の確立されたベンチマークデータセットに対して、12のポピュラー言語モデルの徹底的な実験分析を行う。 まず、全ての入力エンティティを高密度な埋め込みベクトルに変換するためのベクトル化のオーバーヘッドを評価する。 次に,そのブロッキング性能を調査し,詳細なスケーラビリティ解析を行い,最先端のディープラーニングベースのブロッキング手法と比較する。 第3に、教師なしマッチングと教師なしマッチングの両方に対して、相対的な性能で締めくくります。
• 参考スコア（独自算出の注目度）: 65.11858854040544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many recent works on Entity Resolution (ER) leverage Deep Learning techniques involving language models to improve effectiveness. This is applied to both main steps of ER, i.e., blocking and matching. Several pre-trained embeddings have been tested, with the most popular ones being fastText and variants of the BERT model. However, there is no detailed analysis of their pros and cons. To cover this gap, we perform a thorough experimental analysis of 12 popular language models over 17 established benchmark datasets. First, we assess their vectorization overhead for converting all input entities into dense embeddings vectors. Second, we investigate their blocking performance, performing a detailed scalability analysis, and comparing them with the state-of-the-art deep learning-based blocking method. Third, we conclude with their relative performance for both supervised and unsupervised matching. Our experimental results provide novel insights into the strengths and weaknesses of the main language models, facilitating researchers and practitioners to select the most suitable ones in practice.
• Abstract（参考訳）: エンティティ解決(ER)に関する最近の多くの研究は、言語モデルを含むディープラーニング技術を活用して、効率を向上させる。 これは、ERの主なステップ、すなわちブロッキングとマッチングの両方に適用される。 いくつかの事前トレーニング済みの埋め込みがテストされており、最も人気のあるのはfastTextとBERTモデルの亜種である。 しかし、その長所や短所の詳細な分析は行われていない。 このギャップを埋めるため、17の確立したベンチマークデータセット上の12のポピュラー言語モデルの徹底的な実験分析を行う。 まず、全ての入力エンティティを高密度埋め込みベクトルに変換するためのベクトル化オーバーヘッドを評価する。 第2に,ブロッキング性能を調査し,詳細なスケーラビリティ解析を行い,最先端のディープラーニングベースのブロッキング法と比較する。 第3に、教師付きマッチングと教師なしマッチングの両方に対する相対的なパフォーマンスで締めくくります。 我々の実験結果は、主要な言語モデルの長所と短所に関する新たな洞察を与え、研究者や実践者が実際に最も適したものを選ぶのに役立つ。

関連論文リスト

• Opening the Black Box: Analyzing Attention Weights and Hidden States in Pre-trained Language Models for Non-language Tasks [0.8889304968879164]
  階層構造を持つ制約付き算術問題に対して,事前学習した言語モデルを適用し,その注意重みと隠れ状態を分析する。 この調査は、人間の問題解決戦略と同様に、階層的な問題を適度に構造化した方法で解決するモデルによって、有望な結果を明らかにしている。 注意分析により、モデルがListOpsデータセットの長いシーケンスに一般化できると仮定できる。
  論文  参考訳（メタデータ） (2023-06-21T11:48:07Z)
• Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
  このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。 最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
  論文  参考訳（メタデータ） (2023-02-18T09:26:35Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing [44.72809363746258]
  本稿では,既存の単純な構文解析手法であるトップダウンとボトムアップと,トランスフォーマーに基づく事前学習言語モデルを統合することで,強力なベースラインを探求する。 2つのベンチマークデータセットから得られた実験結果は、解析性能が解析戦略よりも事前訓練された言語モデルに依存していることを示している。
  論文  参考訳（メタデータ） (2022-10-15T18:38:08Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• More Than Words: Towards Better Quality Interpretations of Text Classifiers [16.66535643383862]
  MLモデルの入力インタフェースを考えると、トークンベースの解釈性は便利な第1選択であるが、あらゆる状況において最も効果的ではないことを示す。 1)ランダム化テストにより測定されるほど頑健であり,2)SHAPのような近似に基づく手法を用いた場合の変動性が低く,3)言語的コヒーレンスがより高い水準にある場合の人間には理解できない。
  論文  参考訳（メタデータ） (2021-12-23T10:18:50Z)
• Lexicon-based Methods vs. BERT for Text Sentiment Analysis [0.15293427903448023]
  ロシア語に適応したSO-CALとSentiStrength lexiconに基づく手法 RuBERTはレキシコン法を平均で上回っているが、SO-CALは16の4コーパスでRuBERTを上回っている。
  論文  参考訳（メタデータ） (2021-11-19T08:47:32Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Toward the Understanding of Deep Text Matching Models for Information Retrieval [72.72380690535766]
  本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。 具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。 LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
  論文  参考訳（メタデータ） (2021-08-16T13:33:15Z)
• Improving Authorship Verification using Linguistic Divergence [6.673132899229721]
  事前学習した深層言語モデルを活用したオーサシップ検証タスクに対する教師なしソリューションを提案します。 提案するメトリクスは,事前学習した言語モデルと比較した2人の著者間の差異の尺度である。
  論文  参考訳（メタデータ） (2021-03-12T03:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。