論文の概要: MPN: Leveraging Multilingual Patch Neuron for Cross-lingual Model
Editing
- arxiv url: http://arxiv.org/abs/2401.03190v1
- Date: Sat, 6 Jan 2024 10:40:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 20:02:26.242973
- Title: MPN: Leveraging Multilingual Patch Neuron for Cross-lingual Model
Editing
- Title(参考訳): MPN:多言語パッチニューロンを用いた言語間モデル編集
- Authors: Nianwen Si, Hao Zhang, Weiqiang Zhang
- Abstract要約: 本稿では,多言語パッチニューロンを訓練し,言語間知識を蓄積する簡易かつ効果的な方法を提案する。
既存のアプローチに容易に適応して、言語間編集機能を強化することができる。
- 参考スコア(独自算出の注目度): 10.81072864833299
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are known for encoding a vast amount of factual
knowledge, but they often becomes outdated due to the ever-changing nature of
external information. A promising solution to this challenge is the utilization
of model editing methods to update the knowledge in an efficient manner.
However, the majority of existing model editing techniques are limited to
monolingual frameworks, thus failing to address the crucial issue of
cross-lingual knowledge synchronization for multilingual models. To tackle this
problem, we propose a simple yet effective method that trains multilingual
patch neuron to store cross-lingual knowledge. It can be easily adapted to
existing approaches to enhance their cross-lingual editing capabilities. To
evaluate our method, we conduct experiments using both the XNLI dataset and a
self-constructed XFEVER dataset. Experimental results demonstrate that our
proposed method achieves improved performance in cross-lingual editing tasks
without requiring excessive modifications to the original methodology, thereby
showcasing its user-friendly characteristics. Codes will be released soon.
- Abstract(参考訳): 大規模言語モデルは、膨大な量の事実知識をエンコードすることが知られているが、外部情報の性質が変化し続けるため、しばしば時代遅れになる。
この課題に対する有望な解決策は、効率的に知識を更新するためのモデル編集手法の利用である。
しかし、既存のモデル編集技術の大部分は単言語フレームワークに限定されており、多言語モデルの言語間知識同期の重要な問題に対処できていない。
そこで本研究では,多言語パッチニューロンを訓練し,言語横断的知識を蓄積する手法を提案する。
既存のアプローチに容易に適応して、言語間編集機能を強化することができる。
提案手法を評価するために,XNLIデータセットと自己構築型XFEVERデータセットの両方を用いて実験を行った。
実験の結果,提案手法は,従来の手法に過剰な修正を加えることなく,言語間編集タスクの性能向上を実現し,ユーザフレンドリな特徴を示すことができた。
コードはまもなくリリースされる予定だ。
関連論文リスト
- Cross-lingual Editing in Multilingual Language Models [1.3062731746155414]
本稿では,言語間モデル編集(textbfXME)パラダイムを紹介し,事実を一つの言語で編集し,その後の更新伝搬を他の言語で観察する。
その結果,言語が2つの異なるスクリプトファミリーに属している場合を中心に,XME設定下での最先端のMETの性能制限が顕著に示された。
論文 参考訳(メタデータ) (2024-01-19T06:54:39Z) - Cross-Lingual Knowledge Editing in Large Language Models [42.300516868372355]
知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。
ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。
まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
そして、異なるパラダイムをカバーする様々な知識編集手法を用いて英語編集を行い、その性能を中国語で評価する。
論文 参考訳(メタデータ) (2023-09-16T11:07:52Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳(メタデータ) (2023-06-13T08:08:08Z) - Language Anisotropic Cross-Lingual Model Editing [61.51863835749279]
既存の作業はモノリンガルのシナリオのみを研究しており、言語間で同時に編集を行うための言語間転送能力が欠如している。
本稿では,並列コーパスを用いた一言語モデル編集手法を言語間シナリオに適用する枠組みを提案する。
本研究では,複数言語への編集の伝播における単言語ベースラインの失敗と,提案言語異方性モデル編集の有効性を実証的に示す。
論文 参考訳(メタデータ) (2022-05-25T11:38:12Z) - Multilingual Transfer Learning for Code-Switched Language and Speech
Neural Modeling [12.497781134446898]
本稿では,言語非依存なマルチタスク学習手法を提案することにより,言語理論のデータ不足と限界に対処する。
まず,メタラーニングに基づくメタトランスファー学習を提案する。そこでは,高音源単言語音声データから,コードスイッチング領域への情報抽出を行う。
第2に,他の言語で学習した有用な知識を得ることにより,コードスイッチングデータを効果的に表現するための,多言語メタエム手法を提案する。
第3に,言語モデルへの伝達学習戦略として構文情報を統合するために,マルチタスク学習を導入する。
論文 参考訳(メタデータ) (2021-04-13T14:49:26Z) - Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。
この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
論文 参考訳(メタデータ) (2021-03-24T16:20:02Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳(メタデータ) (2020-12-31T11:37:28Z) - FILTER: An Enhanced Fusion Method for Cross-lingual Language
Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。
推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。
この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文 参考訳(メタデータ) (2020-09-10T22:42:15Z) - XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。
提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文 参考訳(メタデータ) (2020-05-01T12:22:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。