論文の概要: A Comprehensive Comparison of Word Embeddings in Event & Entity Coreference Resolution

• arxiv url: http://arxiv.org/abs/2110.05115v1
• Date: Mon, 11 Oct 2021 09:46:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 01:34:12.632458
• Title: A Comprehensive Comparison of Word Embeddings in Event & Entity Coreference Resolution
• Title（参考訳）: event & entity coreference resolutionにおける単語埋め込みの包括的比較
• Authors: Judicael Poumay, Ashwin Ittoo
• Abstract要約: 我々は、家族間で異なる埋め込みの性能を比較した。 埋め込みサイズに関する性能の低下を観察する。 ElmoはEvCRとEnCRの両方で最高、GloVeとFastTextはそれぞれEvCRとEnCRで最高である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coreference Resolution is an important NLP task and most state-of-the-art methods rely on word embeddings for word representation. However, one issue that has been largely overlooked in literature is that of comparing the performance of different embeddings across and within families in this task. Therefore, we frame our study in the context of Event and Entity Coreference Resolution (EvCR & EnCR), and address two questions : 1) Is there a trade-off between performance (predictive & run-time) and embedding size? 2) How do the embeddings' performance compare within and across families? Our experiments reveal several interesting findings. First, we observe diminishing returns in performance with respect to embedding size. E.g. a model using solely a character embedding achieves 86% of the performance of the largest model (Elmo, GloVe, Character) while being 1.2% of its size. Second, the larger model using multiple embeddings learns faster overall despite being slower per epoch. However, it is still slower at test time. Finally, Elmo performs best on both EvCR and EnCR, while GloVe and FastText perform best in EvCR and EnCR respectively.
• Abstract（参考訳）: Coreference Resolutionは重要なNLPタスクであり、ほとんどの最先端の手法は単語表現に単語の埋め込みに依存する。 しかし、文献で見過ごされてきた問題のひとつは、この課題における家族間で異なる埋め込みの性能を比較することである。 したがって、イベントとエンティティの一貫性の解決(EvCRとEnCR)という文脈で研究を行い、1)パフォーマンス(予測と実行時間)と埋め込みサイズの間にトレードオフがあるかという2つの疑問に対処する。 2)家族間での埋め込み性能はどのように比較されるか。 我々の実験はいくつかの興味深い発見を明らかにした。 まず、埋め込みサイズに関して、パフォーマンスのリターンが低下することを観察します。 例えば、文字埋め込みのみを使用するモデルは、最大のモデル(Elmo、GloVe、 character)のパフォーマンスの86%を達成し、サイズは1.2%である。 第二に、複数の埋め込みを使用するより大きなモデルは、エポックごとに遅いにもかかわらず、全体としてより速く学習する。 しかし、テスト時にはまだ遅い。 最後に、ElmoはEvCRとEnCRの両方で最高、GloVeとFastTextはそれぞれEvCRとEnCRで最高である。

関連論文リスト

• CFIR: Fast and Effective Long-Text To Image Retrieval for Large Corpora [3.166549403591528]
  本稿では,高速かつ効率的な画像検索のための2段階の粗度指数共有検索(CFIR)フレームワークを提案する。 CFIRは、Recall@1000で既存のMLLMを最大11.06%上回り、トレーニング時間と検索時間をそれぞれ68.75%、99.79%削減している。
  論文  参考訳（メタデータ） (2024-02-23T11:47:16Z)
• Generative Representational Instruction Tuning [89.76840377003178]
  GritLM 7B がMassive Text Embedding Benchmark (MTEB) に新たな技術状況を設定する GritLM 8x7Bは、私たちが試したすべてのオープンな生成言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-02-15T12:12:19Z)
• On the Dimensionality of Sentence Embeddings [56.86742006079451]
  文埋め込みの最適次元は通常、デフォルト値よりも小さいことを示す。 文表現学習モデルの2段階学習法を提案し、エンコーダとプーラを個別に最適化することにより、全体的な性能損失を軽減する。
  論文  参考訳（メタデータ） (2023-10-23T18:51:00Z)
• HiVLP: Hierarchical Vision-Language Pre-Training for Fast Image-Text Retrieval [85.28292877465353]
  本稿では,高速画像テキスト検索のためのtextbfHierarchical textbfVision-textbfLanguage textbfPre-Trainingを提案する。 具体的には,粗いITRに対して異なる次元の表現を用いた新しい階層的検索対象を設計する。
  論文  参考訳（メタデータ） (2022-05-24T14:32:57Z)
• Compressing Sentence Representation for Semantic Retrieval via Homomorphic Projective Distillation [28.432799973328127]
  圧縮文の埋め込みを学習するために,同相射影蒸留法(HPD)を提案する。 提案手法は,小さなトランスフォーマーエンコーダモデルを学習可能なプロジェクション層で拡張し,コンパクトな表現を生成する。
  論文  参考訳（メタデータ） (2022-03-15T07:05:43Z)
• Disentangled Representation Learning for Text-Video Retrieval [51.861423831566626]
  テキスト・ビデオ検索(TVR)における相互モダリティの相互作用 我々は相互作用のパラダイムを深く研究し、その計算を2つの項に分けることができることを示した。 本稿では,逐次的かつ階層的な表現を捉えるための非絡み合いフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-14T13:55:33Z)
• LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval [55.097573036580066]
  実験結果から,LaPraDoRは教師付き高密度検索モデルと比較して最先端の性能が得られることがわかった。 再ランクと比較すると,1ミリ秒 (22.5倍高速) でレキシコン強化手法を動作させることができるが,性能は良好である。
  論文  参考訳（メタデータ） (2022-03-11T18:53:12Z)
• Compressibility of Distributed Document Representations [0.0]
  CoReは表現圧縮に適した表現学習者に依存しないフレームワークである。 文脈的および非文脈的文書表現、異なる圧縮レベル、および9つの異なる圧縮アルゴリズムを考慮すると、CoReの振る舞いを示す。 10万以上の圧縮実験に基づく結果から、CoReは圧縮効率と性能の非常に良いトレードオフを提供することを示している。
  論文  参考訳（メタデータ） (2021-10-14T17:56:35Z)
• reproducing "ner and pos when nothing is capitalized" [0.0]
  私たちは、ケーシングがトレーニングデータとテストデータの間に不一致である場合に、大幅なパフォーマンス低下を緩和する方法を示します。 また、再現しようとするほぼすべての実験において、パフォーマンスがわずかに低下したことも示しています。
  論文  参考訳（メタデータ） (2021-09-17T08:12:44Z)
• Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation [68.45737688496654]
  各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。 対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。 すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
  論文  参考訳（メタデータ） (2021-06-09T16:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。