論文の概要: Multilingual Autoregressive Entity Linking

• arxiv url: http://arxiv.org/abs/2103.12528v1
• Date: Tue, 23 Mar 2021 13:25:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-24 14:15:07.334466
• Title: Multilingual Autoregressive Entity Linking
• Title（参考訳）: 多言語自動回帰エンティティリンク
• Authors: Nicola De Cao, Ledell Wu, Kashyap Popat, Mikel Artetxe, Naman Goyal, Mikhail Plekhanov, Luke Zettlemoyer, Nicola Cancedda, Sebastian Riedel, Fabio Petroni
• Abstract要約: mGENREはMultilingual Entity Linking問題のためのシーケンス対シーケンスシステムである。 与えられた言語で言及すると、mGENREはターゲットエンティティの名前を左から右へ、トークンごとに予測します。 提案手法の有効性を3つのMELベンチマーク実験を含む広範囲な評価により示す。
• 参考スコア（独自算出の注目度）: 49.35994386221958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present mGENRE, a sequence-to-sequence system for the Multilingual Entity Linking (MEL) problem -- the task of resolving language-specific mentions to a multilingual Knowledge Base (KB). For a mention in a given language, mGENRE predicts the name of the target entity left-to-right, token-by-token in an autoregressive fashion. The autoregressive formulation allows us to effectively cross-encode mention string and entity names to capture more interactions than the standard dot product between mention and entity vectors. It also enables fast search within a large KB even for mentions that do not appear in mention tables and with no need for large-scale vector indices. While prior MEL works use a single representation for each entity, we match against entity names of as many languages as possible, which allows exploiting language connections between source input and target name. Moreover, in a zero-shot setting on languages with no training data at all, mGENRE treats the target language as a latent variable that is marginalized at prediction time. This leads to over 50% improvements in average accuracy. We show the efficacy of our approach through extensive evaluation including experiments on three popular MEL benchmarks where mGENRE establishes new state-of-the-art results. Code and pre-trained models at https://github.com/facebookresearch/GENRE.
• Abstract（参考訳）: 本稿では,多言語エンティティリンク(mel)問題に対して,多言語知識ベース(kb)への言語固有の言及を解決するタスクであるmgenreを提案する。 与えられた言語に言及するために、mGENREは自己回帰的な方法でターゲットエンティティの名前を予測する。 自己回帰的定式化(autoregressive formula)により、参照ベクトルとエンティティベクトルの間の標準ドット積よりも多くのインタラクションを効果的にエンコードできる。 また、参照テーブルに表示されず、大規模なベクトルインデックスを必要とせずに、大きなKB内で高速な検索を可能にする。 以前のMELでは、各エンティティに1つの表現を使用していたが、できるだけ多くの言語のエンティティ名と一致し、ソース入力とターゲット名の間の言語接続を活用できる。 さらに、トレーニングデータを全く持たない言語上のゼロショット設定では、mGENREは、ターゲット言語を予測時に辺縁化される潜在変数として扱う。 これにより平均精度が50%以上向上する。 提案手法の有効性を,mGENREが新しい最先端結果を確立する3つのMELベンチマーク実験を含む広範囲な評価により示す。 code and pre-trained model at https://github.com/facebookresearch/GENRE

関連論文リスト

• xMEN: A Modular Toolkit for Cross-Lingual Medical Entity Normalization [0.42292483435853323]
  言語間医療機関正規化のためのモジュールシステムであるxMENを紹介する。 対象言語のシノニムが与えられた用語に乏しい場合には、言語間の候補生成を通じて英語のエイリアスを活用する。 候補ランキングには、対象タスクのアノテーションが利用可能であれば、トレーニング可能なクロスエンコーダモデルを組み込む。
  論文  参考訳（メタデータ） (2023-10-17T13:53:57Z)
• CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
  複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。 分割のための専用モデルを訓練するための新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-05-23T16:32:27Z)
• Mixed Attention Transformer for LeveragingWord-Level Knowledge to Neural Cross-Lingual Information Retrieval [15.902630454568811]
  本稿では,辞書や翻訳表などの外部単語レベルの知識を取り入れた,MAT(Mixed Attention Transformer)を提案する。 翻訳知識をアテンションマトリックスに符号化することにより、MATを用いたモデルは、入力シーケンス内の相互翻訳された単語にフォーカスすることができる。
  論文  参考訳（メタデータ） (2021-09-07T00:33:14Z)
• Improving Zero-Shot Multi-Lingual Entity Linking [14.502266106371433]
  我々は、複数の言語における同言語知識ベースへの参照をリンクするように、1つのモデルが訓練される多言語エンティティリンクを考える。 テキストの多言語トランスフォーマー表現を利用して,多言語設定に容易に適用可能なニューラルネットワークローダアーキテクチャを提案する。 このアプローチを使用することで、いくつかのデータセットでのリコールが改善され、しばしば言語内のパフォーマンスにマッチする。
  論文  参考訳（メタデータ） (2021-04-16T12:50:07Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction [107.8262586956778]
  言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。 GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。 そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-06T20:30:35Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。