Fugu-MT 論文翻訳(概要): Cross-Lingual Transfer in Zero-Shot Cross-Language Entity Linking

論文の概要: Cross-Lingual Transfer in Zero-Shot Cross-Language Entity Linking

arxiv url: http://arxiv.org/abs/2010.09828v2
Date: Wed, 7 Jul 2021 19:44:49 GMT
ステータス: 処理完了
システム内更新日: 2022-10-05 22:00:23.167917
Title: Cross-Lingual Transfer in Zero-Shot Cross-Language Entity Linking
Title（参考訳）: ゼロショットクロスランゲージエンティティリンクにおけるクロスリンガル転送
Authors: Elliot Schumacher, James Mayfield, Mark Dredze
Abstract要約: 言語間リンクの基盤は、複数の言語で言及され、単一の言語知識ベースに言及される。 BERTの多言語化能力は単言語および多言語設定において頑健な性能をもたらすことが判明した。
参考スコア（独自算出の注目度）: 19.083300046605252
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Cross-language entity linking grounds mentions in multiple languages to a single-language knowledge base. We propose a neural ranking architecture for this task that uses multilingual BERT representations of the mention and the context in a neural network. We find that the multilingual ability of BERT leads to robust performance in monolingual and multilingual settings. Furthermore, we explore zero-shot language transfer and find surprisingly robust performance. We investigate the zero-shot degradation and find that it can be partially mitigated by a proposed auxiliary training objective, but that the remaining error can best be attributed to domain shift rather than language transfer.
Abstract（参考訳）: 言語間リンクの基盤は、複数の言語で言及されている。本稿では,ニューラルネットワークにおける言及と文脈の多言語bert表現を用いた,このタスクのためのニューラルネットワークランキングアーキテクチャを提案する。 BERTの多言語化能力は単言語および多言語設定において頑健な性能をもたらす。さらに、ゼロショット言語転送を検討し、驚くほど堅牢なパフォーマンスを見出す。ゼロショット分解について検討し,提案する補助訓練目標により部分的に緩和できるが,残る誤差は言語伝達よりもドメインシフトによるものと考えられる。

関連論文リスト

Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
論文参考訳（メタデータ） (2024-06-23T15:15:17Z)
A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning [6.329304732560936]
既存のゼロショットのクロスリンガル転送法は、並列コーパスやバイリンガル辞書に依存している。意味喪失のない仮想多言語埋め込みに英語の埋め込みを移すための埋め込み・プッシュ・アテンション・プル・ロバスト・ターゲットを提案する。
論文参考訳（メタデータ） (2022-10-18T15:36:53Z)
Meta-X$_{NLG}$: A Meta-Learning Approach Based on Language Clustering for Zero-Shot Cross-Lingual Transfer and Generation [11.155430893354769]
本稿では,類型的に多様な言語から共有可能な構造を学習するためのメタラーニングフレームワークを提案する。まず、まず言語表現に基づいて言語をクラスタ化し、各クラスタのセントロイド言語を識別する。メタ学習アルゴリズムは、全てのセントロイド言語で訓練され、ゼロショット設定で他の言語で評価される。
論文参考訳（メタデータ） (2022-03-19T05:22:07Z)
IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
論文参考訳（メタデータ） (2022-01-27T18:53:22Z)
Improving Zero-Shot Multi-Lingual Entity Linking [14.502266106371433]
我々は、複数の言語における同言語知識ベースへの参照をリンクするように、1つのモデルが訓練される多言語エンティティリンクを考える。テキストの多言語トランスフォーマー表現を利用して,多言語設定に容易に適用可能なニューラルネットワークローダアーキテクチャを提案する。このアプローチを使用することで、いくつかのデータセットでのリコールが改善され、しばしば言語内のパフォーマンスにマッチする。
論文参考訳（メタデータ） (2021-04-16T12:50:07Z)
First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT [2.2931318723689276]
言語間移動は、ある言語への関心のタスクを微調整し、ある言語を個別に評価することから生じる。多言語bertは,マルチリンガルエンコーダとタスク固有言語非依存予測器の2つのサブネットワークの積み重ねと見なすことができる。エンコーダは言語間移動に不可欠であり、微調整中はほとんど変化しないが、タスク予測器は転写にほとんど重要ではなく、微調整時に赤くなる。
論文参考訳（メタデータ） (2021-01-26T22:12:38Z)
VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文参考訳（メタデータ） (2020-10-30T03:41:38Z)
From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers [62.637055980148816]
言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
論文参考訳（メタデータ） (2020-05-01T22:04:58Z)
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
論文参考訳（メタデータ） (2020-04-24T17:21:32Z)
A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT [60.9051207862378]
Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
論文参考訳（メタデータ） (2020-04-20T11:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。