論文の概要: Language Anisotropic Cross-Lingual Model Editing

• arxiv url: http://arxiv.org/abs/2205.12677v1
• Date: Wed, 25 May 2022 11:38:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 14:37:28.773608
• Title: Language Anisotropic Cross-Lingual Model Editing
• Title（参考訳）: 言語異方性言語間モデル編集
• Authors: Yang Xu, Yutai Hou, Wanxiang Che
• Abstract要約: 事前訓練された言語モデルは、トレーニングコーパスから大量の知識を学ぶ一方で、記憶された事実は数年のうちに時代遅れになる可能性がある。 モデル編集は、関係のない知識をそのまま残しながら、モデル内の特定の事実をポストホックで更新することを目的としている。 本稿では,言語間モデル編集の定義とメトリクスを提案する。
• 参考スコア（独自算出の注目度）: 60.26354351064798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models learn large amounts of knowledge from their training corpus, while the memorized facts could become outdated over a few years. Model editing aims to make post-hoc updates on specific facts in a model while leaving irrelevant knowledge unchanged. However, existing work studies only the monolingual scenario. In this paper, we focus on cross-lingual model editing. Firstly, we propose the definition and metrics of the cross-lingual model editing, where updates in a single language should take effect in the others as well. Next, we propose a simple framework to convert a monolingual model editing approach to its cross-lingual variant using the parallel corpus. Experiments show that such an approach outperforms monolingual baselines by a large margin. Furthermore, we propose language anisotropic editing to improve cross-lingual editing by estimating parameter importance for each language. Experiments reveal that language anisotropic editing decreases the editing failing rate by another $26\%$ relatively.
• Abstract（参考訳）: 事前学習された言語モデルはトレーニングコーパスから大量の知識を学習し、記憶された事実は数年で時代遅れになる可能性がある。 モデル編集は、関係のない知識をそのまま残しながら、モデル内の特定の事実をポストホックで更新することを目的としている。 しかし、現存する研究は単言語シナリオのみである。 本稿では,言語間モデル編集に焦点を当てる。 まず,1つの言語で更新を行う言語間モデル編集の定義とメトリクスを提案する。 次に、並列コーパスを用いて単言語モデル編集アプローチを言語間変異に変換するための簡単なフレームワークを提案する。 実験により、このようなアプローチが単言語ベースラインを大きなマージンで上回っていることが示されている。 さらに,各言語のパラメータ重要度を推定することにより,言語間編集を改善するために,言語異方性編集を提案する。 実験の結果、言語異方性編集は編集失敗率を相対的に26.%下げることがわかった。

関連論文リスト

• MPN: Leveraging Multilingual Patch Neuron for Cross-lingual Model Editing [10.81072864833299]
  本稿では,多言語パッチニューロンを訓練し,言語間知識を蓄積する簡易かつ効果的な方法を提案する。 既存のアプローチに容易に適応して、言語間編集機能を強化することができる。
  論文  参考訳（メタデータ） (2024-01-06T10:40:24Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Parameter-efficient Zero-shot Transfer for Cross-Language Dense Retrieval with Adapters [20.168480824057923]
  クロスランゲージ検索モデルを作成するための一般的なアプローチは、モノリンガル事前学習言語モデルを検索モデルに置き換えることである。 単言語データを用いて学習したモデルは、クロスランゲージ情報検索設定に移行する際に、モデル全体を微調整するよりも効果的であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T17:25:04Z)
• Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
  多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• On the ability of monolingual models to learn language-agnostic representations [2.604227467422371]
  異なる言語で事前訓練および微調整された単言語モデルが競合性能を実現することを示す。 例えば、ドイツ語やポルトガル語のような遠方の言語で事前訓練されたモデルは、英語のタスクでも同様に機能する。
  論文  参考訳（メタデータ） (2021-09-04T22:09:44Z)
• How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models [96.32118305166412]
  本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。 多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
  論文  参考訳（メタデータ） (2020-12-31T14:11:00Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。