論文の概要: Language Anisotropic Cross-Lingual Model Editing

• arxiv url: http://arxiv.org/abs/2205.12677v2
• Date: Mon, 5 Jun 2023 09:13:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 05:22:57.519597
• Title: Language Anisotropic Cross-Lingual Model Editing
• Title（参考訳）: 言語異方性言語間モデル編集
• Authors: Yang Xu, Yutai Hou, Wanxiang Che, Min Zhang
• Abstract要約: 既存の作業はモノリンガルのシナリオのみを研究しており、言語間で同時に編集を行うための言語間転送能力が欠如している。 本稿では,並列コーパスを用いた一言語モデル編集手法を言語間シナリオに適用する枠組みを提案する。 本研究では,複数言語への編集の伝播における単言語ベースラインの失敗と,提案言語異方性モデル編集の有効性を実証的に示す。
• 参考スコア（独自算出の注目度）: 61.51863835749279
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual pre-trained language models can learn task-specific abilities or memorize facts across multiple languages but inevitably make undesired predictions with specific inputs. Under similar observation, model editing aims to post-hoc calibrate a model targeted to specific inputs with keeping the model's raw behavior. However, existing work only studies the monolingual scenario, which lacks the cross-lingual transferability to perform editing simultaneously across languages. In this work, we focus on cross-lingual model editing. Firstly, we define the cross-lingual model editing task and corresponding metrics, where an edit in one language propagates to the others. Next, we propose a framework to naturally adapt monolingual model editing approaches to the cross-lingual scenario using parallel corpus. Further, we propose language anisotropic editing to improve cross-lingual editing by amplifying different subsets of parameters for each language. On the newly defined cross-lingual model editing task, we empirically demonstrate the failure of monolingual baselines in propagating the edit to multiple languages and the effectiveness of the proposed language anisotropic model editing. Our code is publicly available at https://github.com/franklear/LiME.
• Abstract（参考訳）: 多言語事前学習された言語モデルは、タスク固有の能力や、複数の言語にまたがる事実を記憶することができるが、必然的に特定の入力で望ましくない予測を行う。 同様の観察の下で、モデル編集はモデルの生の振る舞いを保ちながら、特定の入力をターゲットとしたモデルのキャリブレーション後キャリブレーションを目的としている。 しかし、既存の研究は、言語間で同時に編集を行うクロスリンガルトランスファー性に欠ける単言語シナリオのみを研究している。 本稿では,言語間モデル編集に焦点をあてる。 まず、言語間モデル編集タスクと対応するメトリクスを定義し、ある言語での編集が他の言語に伝達されるようにします。 次に,並列コーパスを用いた単言語モデル編集手法を言語間シナリオに適用する枠組みを提案する。 さらに,言語毎に異なるパラメータのサブセットを増幅することにより,言語間編集を改善する言語異方性編集を提案する。 新たに定義された言語間モデル編集タスクにおいて,複数言語への編集の伝達における単言語ベースラインの失敗と,提案する言語異方性モデル編集の有効性を実証的に示す。 私たちのコードはhttps://github.com/franklear/limeで公開されています。

関連論文リスト

• MPN: Leveraging Multilingual Patch Neuron for Cross-lingual Model Editing [10.81072864833299]
  本稿では,多言語パッチニューロンを訓練し,言語間知識を蓄積する簡易かつ効果的な方法を提案する。 既存のアプローチに容易に適応して、言語間編集機能を強化することができる。
  論文  参考訳（メタデータ） (2024-01-06T10:40:24Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Parameter-efficient Zero-shot Transfer for Cross-Language Dense Retrieval with Adapters [20.168480824057923]
  クロスランゲージ検索モデルを作成するための一般的なアプローチは、モノリンガル事前学習言語モデルを検索モデルに置き換えることである。 単言語データを用いて学習したモデルは、クロスランゲージ情報検索設定に移行する際に、モデル全体を微調整するよりも効果的であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T17:25:04Z)
• Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
  多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• On the ability of monolingual models to learn language-agnostic representations [2.604227467422371]
  異なる言語で事前訓練および微調整された単言語モデルが競合性能を実現することを示す。 例えば、ドイツ語やポルトガル語のような遠方の言語で事前訓練されたモデルは、英語のタスクでも同様に機能する。
  論文  参考訳（メタデータ） (2021-09-04T22:09:44Z)
• How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models [96.32118305166412]
  本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。 多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
  論文  参考訳（メタデータ） (2020-12-31T14:11:00Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。