論文の概要: Evaluating Multilingual and Code-Switched Alignment in LLMs via Synthetic Natural Language Inference

• arxiv url: http://arxiv.org/abs/2508.14735v1
• Date: Wed, 20 Aug 2025 14:30:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.480133
• Title: Evaluating Multilingual and Code-Switched Alignment in LLMs via Synthetic Natural Language Inference
• Title（参考訳）: 合成自然言語推論によるLLMにおける多言語・コード切替アライメントの評価
• Authors: Samir Abdaljalil, Erchin Serpedin, Khalid Qaraqe, Hasan Kurban,
• Abstract要約: 大規模言語モデル(LLM)は多言語的文脈においてますます適用されているが、言語間で一貫した論理的に根ざしたアライメントの能力は未定である。 本稿では、論理に基づく前提-仮説ペアを生成する多言語自然言語推論のフレームワークを提案し、それらを類型的に多様な言語に翻訳する。 コードスイッチングは劣化せず、性能も向上し、翻訳によって引き起こされる語彙の変化が正規化信号として機能することを示唆している。
• 参考スコア（独自算出の注目度）: 2.172419551358714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly applied in multilingual contexts, yet their capacity for consistent, logically grounded alignment across languages remains underexplored. We present a controlled evaluation framework for multilingual natural language inference (NLI) that generates synthetic, logic-based premise-hypothesis pairs and translates them into a typologically diverse set of languages. This design enables precise control over semantic relations and allows testing in both monolingual and mixed-language (code-switched) conditions. Surprisingly, code-switching does not degrade, and can even improve, performance, suggesting that translation-induced lexical variation may serve as a regularization signal. We validate semantic preservation through embedding-based similarity analyses and cross-lingual alignment visualizations, confirming the fidelity of translated pairs. Our findings expose both the potential and the brittleness of current LLM cross-lingual reasoning, and identify code-switching as a promising lever for improving multilingual robustness. Code available at: https://github.com/KurbanIntelligenceLab/nli-stress-testing
• Abstract（参考訳）: 大規模言語モデル(LLM)は多言語的文脈においてますます適用されているが、言語間で一貫した論理的に根ざしたアライメントの能力は未定である。 本稿では,多言語自然言語推論(NLI)のための制御された評価フレームワークを提案する。 この設計は意味的関係を正確に制御し、モノリンガルと混合言語(コード切替)の両方の条件でテストすることができる。 驚くべきことに、コードスイッチングは劣化せず、性能も向上し、翻訳によって引き起こされる語彙の変化が正規化信号として機能することを示唆している。 埋め込みに基づく類似性解析と言語間アライメントの可視化により意味保存を検証し、翻訳されたペアの忠実性を確認する。 本研究は,LLMの多言語間推論の可能性と脆性の両方を明らかにし,多言語的堅牢性向上のための有望なレバーとしてコードスイッチングを同定した。 https://github.com/KurbanIntelligenceLab/nli-stress-testing

関連論文リスト

• Investigating and Scaling up Code-Switching for Multilingual Language Model Pre-Training [58.696660064190475]
  コンテクスト内の異なる言語間を交互に交換するコードスイッチの存在が、多言語機能の鍵であることに気付きました。 事前学習における言語アライメントのためのコードスイッチングのパワーをよりよく探求するために,合成コードスイッチングの戦略について検討する。
  論文  参考訳（メタデータ） (2025-04-02T15:09:58Z)
• Linguistics Theory Meets LLM: Code-Switched Text Generation via Equivalence Constrained Large Language Models [16.82812708514889]
  1つの会話で2つ以上の言語を交互に交互に行うコードスイッチングは、自然言語処理(NLP)に特有の課題を提示する 既存の研究は構文的制約やニューラルジェネレーションに重点を置いており、言語理論を言語モデル(LLM)と統合して自然なコード変更テキストを生成する努力はほとんどない。 等価制約理論(ECT)とLLMを組み合わせた新しいフレームワークであるEZSwitchを導入する。
  論文  参考訳（メタデータ） (2024-10-30T03:03:32Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Call Larisa Ivanovna: Code-Switching Fools Multilingual NLU Models [1.827510863075184]
  NLU(Multilingual natural Language understanding)の新たなベンチマークには、意図とスロットを付加した複数の言語での単言語文が含まれる。 既存のベンチマークでは、文法構造が複雑であるため、収集やラベル付けが困難であるコードスイッチ付き発話が欠如している。 我々の研究は、可塑性で自然な発声音声を生成するための認識された手法を採用し、それらを用いて合成コード発声テストセットを作成する。
  論文  参考訳（メタデータ） (2021-09-29T11:15:00Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。