論文の概要: Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models

• arxiv url: http://arxiv.org/abs/2505.18673v1
• Date: Sat, 24 May 2025 12:31:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.583328
• Title: Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models
• Title（参考訳）: 言語間ピットフォール:多言語大言語モデルの言語間弱みの自動探索
• Authors: Zixiang Xu, Yanbo Wang, Yue Huang, Xiuying Chen, Jieyu Zhao, Meng Jiang, Xiangliang Zhang,
• Abstract要約: 本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
• 参考スコア（独自算出の注目度）: 55.14276067678253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable success in Natural Language Processing (NLP), yet their cross-lingual performance consistency remains a significant challenge. This paper introduces a novel methodology for efficiently identifying inherent cross-lingual weaknesses in LLMs. Our approach leverages beam search and LLM-based simulation to generate bilingual question pairs that expose performance discrepancies between English and target languages. We construct a new dataset of over 6,000 bilingual pairs across 16 languages using this methodology, demonstrating its effectiveness in revealing weaknesses even in state-of-the-art models. The extensive experiments demonstrate that our method precisely and cost-effectively pinpoints cross-lingual weaknesses, consistently revealing over 50\% accuracy drops in target languages across a wide range of models. Moreover, further experiments investigate the relationship between linguistic similarity and cross-lingual weaknesses, revealing that linguistically related languages share similar performance patterns and benefit from targeted post-training. Code is available at https://github.com/xzx34/Cross-Lingual-Pitfalls.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理(NLP)において大きな成功を収めていますが、言語間パフォーマンスの一貫性は依然として大きな課題です。 本稿では,LLMにおける言語間関係の弱点を効率的に同定するための新しい手法を提案する。 提案手法はビームサーチとLLMに基づくシミュレーションを利用して、英語と対象言語間の性能の相違を明らかにするバイリンガル質問ペアを生成する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 広汎な実験により,提案手法は言語間の弱点を正確にかつ費用対効果で特定し,対象言語が広範囲にまたがる精度が50%以上低下していることが明らかとなった。 さらに,言語的類似性と言語間の弱さとの関係について検討し,言語的関連言語が類似したパフォーマンスパターンを共有し,対象としたポストトレーニングの恩恵を受けることを明らかにする。 コードはhttps://github.com/xzx34/Cross-Lingual-Pitfallsで入手できる。

関連論文リスト

• Examining Multilingual Embedding Models Cross-Lingually Through LLM-Generated Adversarial Examples [38.18495961129682]
  本稿では,大規模セマンティックコーパスを必要としない新たな言語間探索タスクを提案する。 これは、大きな言語モデルによって生成される障害に挑戦するよりも、真の並列文を言語横断的にランク付けするモデルの能力に焦点を当てている。 ニュースドメインにおける言語対であるドイツ語とフランス語のCLSDタスクのケーススタディを作成します。
  論文  参考訳（メタデータ） (2025-02-12T18:54:37Z)
• Evaluating Knowledge-based Cross-lingual Inconsistency in Large Language Models [16.942897938964638]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示している。 彼らの成功にもかかわらず、これらのモデルはしばしば異なる言語で同じ概念を処理する際に大きな矛盾を示す。 本研究は,LLMにおける言語間不整合の存在,これらの不整合が現れる特定の側面,LLMの言語間整合性と多言語機能との相関の3つの主要な疑問に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-01T15:11:37Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• MELA: Multilingual Evaluation of Linguistic Acceptability [7.524375463656369]
  言語アクセプタビリティの多言語評価 -- MELA -- 10言語を対象とする46Kのサンプルを用いて、言語アクセプタビリティに関する最も大きなベンチマークを提示する。 多言語解釈可能性の追求において, 微調整XLM-Rを用いた探索実験を行った。 言語間移動実験は、受容可能性判定における伝達が非自明であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T15:25:28Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。