論文の概要: BMIKE-53: Investigating Cross-Lingual Knowledge Editing with In-Context Learning

• arxiv url: http://arxiv.org/abs/2406.17764v2
• Date: Wed, 19 Feb 2025 21:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 17:43:49.300724
• Title: BMIKE-53: Investigating Cross-Lingual Knowledge Editing with In-Context Learning
• Title（参考訳）: BMIKE-53:インテクスト学習による言語間知識編集の検討
• Authors: Ercong Nie, Bo Shao, Zifeng Ding, Mingyang Wang, Helmut Schmid, Hinrich Schütze,
• Abstract要約: BMIKE-53は、53言語にまたがる言語間言語間知識編集(IKE)のベンチマークである。 言語横断的なKEは、無関係な知識を保持しながら、他言語にまたがって一般化するために、ある言語で編集された知識を必要とする。 以上より, モデルスケールと実演アライメントが言語間IKEの有効性を著しく左右することが明らかとなった。
• 参考スコア（独自算出の注目度）: 43.059873703788206
• License:
• Abstract: This paper introduces BMIKE-53, a comprehensive benchmark for cross-lingual in-context knowledge editing (IKE) across 53 languages, unifying three knowledge editing (KE) datasets: zsRE, CounterFact, and WikiFactDiff. Cross-lingual KE, which requires knowledge edited in one language to generalize across others while preserving unrelated knowledge, remains underexplored. To address this gap, we systematically evaluate IKE under zero-shot, one-shot, and few-shot setups, incorporating tailored metric-specific demonstrations. Our findings reveal that model scale and demonstration alignment critically govern cross-lingual IKE efficacy, with larger models and tailored demonstrations significantly improving performance. Linguistic properties, particularly script type, strongly influence performance variation across languages, with non-Latin languages underperforming due to issues like language confusion.
• Abstract（参考訳）: 本稿では,3つの知識編集(KE)データセット(zsRE, CounterFact, WikiFactDiff)を統合した,言語間言語間知識編集(IKE)のための総合ベンチマークBMIKE-53を紹介する。 言語横断的なKEは、無関係な知識を保ちながら、他言語をまたがって一般化するために、ある言語で編集された知識を必要とする。 このギャップに対処するために, IKE をゼロショット, ワンショット, 少数ショットのセットアップで体系的に評価し, 調整されたメートル法固有の実演を取り入れた。 その結果, モデルスケールと実演アライメントは, 言語間IKEの有効性を著しく制御し, より大きなモデルと改良された実演により性能が著しく向上することが判明した。 言語特性、特にスクリプトタイプは言語間のパフォーマンスの変動に強く影響を与えており、非ラテン語言語は言語混乱などの問題により性能が低下している。

関連論文リスト

• Cross-Lingual Multi-Hop Knowledge Editing [53.028586843468915]
  言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。 具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。 次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
  論文  参考訳（メタデータ） (2024-07-14T17:18:16Z)
• Decipherment-Aware Multilingual Learning in Jointly Trained Language Models [2.8405971794435887]
  共同学習手法は、教師なし多言語学習において重要な解読過程であることを示す。 情報理論の観点からは、難解な解読設定におけるトークンアライメントの重要性を示す。 最後に、mBERTに語彙アライメントを適用し、異なる語彙群を下流のパフォーマンスに合わせることの寄与について検討する。
  論文  参考訳（メタデータ） (2024-06-11T13:10:30Z)
• MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
  MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。 MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。 MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-04-07T15:23:28Z)
• Cross-Lingual Consistency of Factual Knowledge in Multilingual Language Models [2.6626950367610402]
  本研究では,多言語PLMにおける事実知識の言語間整合性(CLC)について検討する。 本稿では,言語間の知識一貫性を精度から独立して評価するために,ランク付けに基づく一貫性尺度(RankC)を提案する。
  論文  参考訳（メタデータ） (2023-10-16T13:19:17Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer [81.5984433881309]
  本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。 BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。 コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
  論文  参考訳（メタデータ） (2023-05-24T08:06:33Z)
• The Impact of Cross-Lingual Adjustment of Contextual Word Representations on Zero-Shot Transfer [3.300216758849348]
  mBERTやXLM-Rのような大規模な多言語言語モデルは、様々なIRやNLPタスクにおいてゼロショットの言語間転送を可能にする。 そこで本研究では,mBERTの並列コーパスを用いた言語間相互調整のためのデータ・計算効率向上手法を提案する。 類型的に多様な言語(スペイン語、ロシア語、ベトナム語、ヒンディー語)を実験し、その実装を新しいタスクに拡張する。 NER, XSR, 言語間QAを改良した4言語でのNLIの再生ゲインについて検討した。
  論文  参考訳（メタデータ） (2022-04-13T15:28:43Z)
• On the Language-specificity of Multilingual BERT and the Impact of Fine-tuning [7.493779672689531]
  multilingual BERT (mBERT) が獲得した知識は、言語固有のものと言語ニュートラルな2つのコンポーネントを持っている。 本稿では,2つのタスクの微調整の文脈において,それらの関係を解析する。
  論文  参考訳（メタデータ） (2021-09-14T19:28:31Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。