論文の概要: Tracing the Roots of Facts in Multilingual Language Models: Independent,
Shared, and Transferred Knowledge
- arxiv url: http://arxiv.org/abs/2403.05189v1
- Date: Fri, 8 Mar 2024 10:09:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 20:18:04.565331
- Title: Tracing the Roots of Facts in Multilingual Language Models: Independent,
Shared, and Transferred Knowledge
- Title(参考訳): 多言語言語モデルにおけるファクトの根の追跡:独立的、共有的、伝達的知識
- Authors: Xin Zhao, Naoki Yoshinaga, Daisuke Oba
- Abstract要約: 本研究では,多言語言語モデル(ML-LM)が事実知識をどのように獲得し,表現するかを検討する。
ML-LMにおける事実の獲得と表現の3つのパターンを識別する。
本研究は,言語間における一貫した事実知識の維持という課題を浮き彫りにした。
- 参考スコア(独自算出の注目度): 16.923674220979
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Acquiring factual knowledge for language models (LMs) in low-resource
languages poses a serious challenge, thus resorting to cross-lingual transfer
in multilingual LMs (ML-LMs). In this study, we ask how ML-LMs acquire and
represent factual knowledge. Using the multilingual factual knowledge probing
dataset, mLAMA, we first conducted a neuron investigation of ML-LMs
(specifically, multilingual BERT). We then traced the roots of facts back to
the knowledge source (Wikipedia) to identify the ways in which ML-LMs acquire
specific facts. We finally identified three patterns of acquiring and
representing facts in ML-LMs: language-independent, cross-lingual shared and
transferred, and devised methods for differentiating them. Our findings
highlight the challenge of maintaining consistent factual knowledge across
languages, underscoring the need for better fact representation learning in
ML-LMs.
- Abstract(参考訳): 低リソース言語における言語モデル(LM)の事実知識の獲得は、多言語LM(ML-LM)における言語間移動に頼り、深刻な課題となる。
本研究では,ML-LMが事実知識をいかに獲得し,表現するかを問う。
本研究では,ml-lms(特に多言語bert)のニューロン実験を行った。
そして、事実のルーツを知識ソース(Wikipedia)に遡り、ML-LMが特定の事実を取得する方法を特定した。
ML-LMにおける事実の獲得と表現のパターンを,言語非依存,言語間共有,移動の3つに分類した。
本研究は,ML-LMにおけるファクト表現学習の必要性を浮き彫りにして,言語間の一貫した事実知識を維持することの課題を強調した。
関連論文リスト
- How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Language-Specific Neurons: The Key to Multilingual Capabilities in Large
Language Models [122.25217086389425]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。
LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。
以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文 参考訳(メタデータ) (2024-02-26T09:36:05Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Do Large Language Models Know about Facts? [60.501902866946]
大規模言語モデル(LLM)は、最近、さまざまな自然言語処理タスクにおいて、大幅なパフォーマンス改善を推進している。
我々は,ベンチマークPinocchioを設計し,LLM内の事実知識の範囲と範囲を評価することを目的とする。
Pinocchioには、異なるソース、タイムライン、ドメイン、リージョン、言語にまたがる20万のさまざまな事実質問が含まれている。
論文 参考訳(メタデータ) (2023-10-08T14:26:55Z) - LLMs4OL: Large Language Models for Ontology Learning [0.0]
大規模言語モデル(LLM)をオントロジー学習(OL)に用いるLLMs4OLアプローチを提案する。
LLMは自然言語処理の大幅な進歩を示し、異なる知識領域における複雑な言語パターンをキャプチャする能力を示している。
評価には、WordNetにおける語彙的知識、GeoNamesにおける地理的知識、UMLSにおける医学知識など、様々なオントロジ的知識のジャンルが含まれる。
論文 参考訳(メタデータ) (2023-07-31T13:27:21Z) - Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
言語モデルは多言語言語モデル(MLLM)に拡張された。
知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。
我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
論文 参考訳(メタデータ) (2022-10-24T21:33:42Z) - Locating Language-Specific Information in Contextualized Embeddings [2.836066255205732]
多言語事前訓練言語モデル(MPLM)は多言語性を示し、言語間の移動に適している。
MPLM表現が言語に依存しないのか、それとも単に学習したタスク予測ヘッドとインターリーブするだけなのかが問題となる。
言語固有の情報をMPLM内に配置し,その次元と,その発生する層を識別する。
論文 参考訳(メタデータ) (2021-09-16T15:11:55Z) - A Primer on Pretrained Multilingual Language Models [18.943173499882885]
MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。
本報告では,MLLMに関する研究分野について概説する。
論文 参考訳(メタデータ) (2021-07-01T18:01:46Z) - X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained
Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。
しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。
我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文 参考訳(メタデータ) (2020-10-13T05:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。