論文の概要: Language Representation Projection: Can We Transfer Factual Knowledge
across Languages in Multilingual Language Models?
- arxiv url: http://arxiv.org/abs/2311.03788v1
- Date: Tue, 7 Nov 2023 08:16:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 16:26:53.703075
- Title: Language Representation Projection: Can We Transfer Factual Knowledge
across Languages in Multilingual Language Models?
- Title(参考訳): 言語表現予測:多言語言語モデルにおける言語間のファクチュアル知識の伝達は可能か?
- Authors: Shaoyang Xu, Junzhuo Li, Deyi Xiong
- Abstract要約: パラメータフリーの$textbfL$anguage $textbfR$epresentation $textbfP$rojection Module (LRP2)を提案する。
第1のモジュールは非英語の表現を英語のような同値に変換し、第2のモジュールは英語のような表現を対応する非英語の表現に戻す。
mLAMAデータセットによる実験結果から,LRP2は事実知識検索の精度を大幅に向上し,多種多様な非英語言語間の知識伝達を容易にすることが示された。
- 参考スコア(独自算出の注目度): 48.88328580373103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multilingual pretrained language models serve as repositories of multilingual
factual knowledge. Nevertheless, a substantial performance gap of factual
knowledge probing exists between high-resource languages and low-resource
languages, suggesting limited implicit factual knowledge transfer across
languages in multilingual pretrained language models. This paper investigates
the feasibility of explicitly transferring relatively rich factual knowledge
from English to non-English languages. To accomplish this, we propose two
parameter-free $\textbf{L}$anguage $\textbf{R}$epresentation
$\textbf{P}$rojection modules (LRP2). The first module converts non-English
representations into English-like equivalents, while the second module reverts
English-like representations back into representations of the corresponding
non-English language. Experimental results on the mLAMA dataset demonstrate
that LRP2 significantly improves factual knowledge retrieval accuracy and
facilitates knowledge transferability across diverse non-English languages. We
further investigate the working mechanism of LRP2 from the perspectives of
representation space and cross-lingual knowledge neuron.
- Abstract(参考訳): 多言語事前訓練言語モデルは、多言語事実知識のリポジトリとして機能する。
それでも、多言語事前訓練言語モデルにおける言語間の暗黙的な事実知識の伝達を示唆する、高リソース言語と低リソース言語の間には、事実知識のかなりのパフォーマンスギャップが存在する。
本稿では,比較的豊かな事実知識を英語から非英語に明示的に移行する可能性を検討する。
これを実現するために、パラメータフリーな $\textbf{L}$anguage $\textbf{R}$epresentation $\textbf{P}$rojection module (LRP2)を提案する。
第1のモジュールは非英語表現を英語的な同値に変換し、第2のモジュールは英語のような表現を対応する非英語言語の表現に戻す。
mLAMAデータセットによる実験結果から,LRP2は事実知識検索の精度を大幅に向上し,多種多様な非英語言語間の知識伝達を容易にすることが示された。
さらに、表現空間と言語間知識ニューロンの観点からLRP2の作用機構について検討する。
関連論文リスト
- What Linguistic Features and Languages are Important in LLM Translation? [4.888605304379589]
7BのLlama2モデルは、これまでに見たすべての言語に対して10 BLEUスコアを超える。
構文的類似性は、翻訳品質を決定する上で、必ずしも主要な言語要因ではない。
一部の言語は、英語よりも訓練データが少ないにもかかわらず、英語に匹敵する強い相関関係を示している。
論文 参考訳(メタデータ) (2024-02-21T16:32:38Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳(メタデータ) (2023-06-13T08:08:08Z) - Transfer to a Low-Resource Language via Close Relatives: The Case Study
on Faroese [54.00582760714034]
言語間のNLP転送は、高ソース言語のデータとモデルを活用することで改善できる。
我々は、名前付きエンティティ認識(NER)、セマンティックテキスト類似性(STS)、スカンジナビア全言語で訓練された新しい言語モデルのためのFaroeseデータセットとFaroeseデータセットの新しいWebコーパスをリリースする。
論文 参考訳(メタデータ) (2023-04-18T08:42:38Z) - Languages You Know Influence Those You Learn: Impact of Language
Characteristics on Multi-Lingual Text-to-Text Transfer [4.554080966463776]
マルチ言語モデル (LM) は低リソース言語での自然言語処理の実現に成功している。
このようなモデル、特にmT5は、言語間の言語的および意味的な知識をどう転送するかをよりよく理解しようとしています。
この研究の鍵となる発見は、構文、形態学、音韻学の類似性が言語間移動のよい予測因子であることである。
論文 参考訳(メタデータ) (2022-12-04T07:22:21Z) - Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
言語モデルは多言語言語モデル(MLLM)に拡張された。
知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。
我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
論文 参考訳(メタデータ) (2022-10-24T21:33:42Z) - Prix-LM: Pretraining for Multilingual Knowledge Base Construction [59.02868906044296]
複数言語による知識構築と完成のための統合フレームワークである Prix-LM を提案する。
既存の多言語KBから抽出したモノリンガルトリプルとクロスリンガルリンクの2種類の知識を利用する。
複数の言語におけるリンク予測、言語間リンク、バイリンガル語彙誘導など、標準的なエンティティ関連タスクの実験は、その効果を実証している。
論文 参考訳(メタデータ) (2021-10-16T02:08:46Z) - To What Degree Can Language Borders Be Blurred In BERT-based
Multilingual Spoken Language Understanding? [7.245261469258502]
BERTをベースとした多言語言語理解(SLU)モデルは, 遠隔言語群でもかなりうまく機能するが, 理想的な多言語言語性能にはまだギャップがあることを示す。
本稿では,多言語SLUのための言語共有および言語固有表現を学習するための,BERTに基づく新しい逆モデルアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-11-10T09:59:24Z) - X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained
Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。
しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。
我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文 参考訳(メタデータ) (2020-10-13T05:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。