論文の概要: When Similar Means Different: Evaluating LLMs on Arabic--Hebrew Cognates

• arxiv url: http://arxiv.org/abs/2606.13218v1
• Date: Thu, 11 Jun 2026 11:33:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.757136
• Title: When Similar Means Different: Evaluating LLMs on Arabic--Hebrew Cognates
• Title（参考訳）: 類似した意味の違い:アラビア語におけるLLMの評価-ヘブライ語コニャーテ
• Authors: Junhong Liang, Noor Abo Mokh, Bashar Alhafni,
• Abstract要約: アラビア語とヘブライ語は、セム語と密接に関連しているため、真のコニャート、誤解を招く偽の友人、そして現代の借用語のかなりの語彙を共有している。 この重なり合いは、大規模言語モデル(LLM)における言語間セマンティック理解の課題となる。 我々はSemCog Benchを紹介した。これは1,858のアラビア語-ヘブライ語対で、コグネート識別とセマンティック推論のための文レベルのアノテーションを備えている。
• 参考スコア（独自算出の注目度）: 3.5005564083285123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Arabic and Hebrew, as closely related Semitic languages, share a substantial lexicon of true cognates, misleading false friends, and modern loanwords. This overlap poses a challenge for cross-lingual semantic understanding in large language models (LLMs). To evaluate this capability, we introduce SemCog Bench, a curated benchmark of 1,858 Arabic--Hebrew word pairs with sentence-level annotations for cognate identification and semantic disambiguation. We evaluate open-source and commercial LLMs across multiple input representations (raw, diacritized, Romanized, and phonetic) and reveal a critical gap in cross-lingual reasoning. While models achieve high accuracy on true cognates, performance drops sharply on false friends and loanwords, reflecting a strong reliance on surface-form similarity. Furthermore, sentence-level context yields only modest improvements, suggesting that contextual cues alone are insufficient to overcome misleading form-based signals. These findings reveal a fundamental limitation of current LLMs in resolving cross-lingual form--meaning conflicts and establish SemCog Bench as a rigorous benchmark for multilingual semantic reasoning. Our code and data are publicly available.
• Abstract（参考訳）: アラビア語とヘブライ語は、セム語と密接に関連しているため、真のコニャート、誤解を招く偽の友人、そして現代の借用語のかなりの語彙を共有している。 この重なり合いは、大規模言語モデル(LLM)における言語間セマンティック理解の課題となる。 この能力を評価するために,セムコーグ・ベンチ (SemCog Bench, 1,858 アラビア語対のキュレートされたベンチマーク) を導入する。 複数の入力表現(raw, diacritized, Romanized, phonetic)にまたがるオープンソースおよび商用LLMを評価し, 言語間推論における重要なギャップを明らかにする。 モデルが真のコニャートに対して高い精度を達成する一方で、性能は偽の友人や借用語に急落し、表面形状の類似性への強い依存が反映される。 さらに、文レベルの文脈は穏やかな改善しか得られず、文脈的な手がかりだけでは誤解を招く形式に基づく信号を克服できないことを示唆している。 これらの結果から,多言語的意味論の厳密なベンチマークとしてSemCog Benchを確立した。 私たちのコードとデータは公開されています。

関連論文リスト

• SemBench: A Universal Semantic Framework for LLM Evaluation [5.620203684062621]
  SemBenchは,Large Language Models(LLMs)のセマンティック能力を評価するための,合成ベンチマークを自動的に生成するフレームワークである。 我々はセムベンチを3つの言語(英語、スペイン語、バスク語)で評価する。 その結果,SemBenchから得られたランキングは,標準WiCデータセットから得られたランキングと強く相関していることがわかった。
  論文  参考訳（メタデータ） (2026-03-12T08:56:13Z)
• IMPACT: Inflectional Morphology Probes Across Complex Typologies [0.0]
  IMPACTは、屈折形態学に焦点を当てた、合成的に生成された評価フレームワークである。 アラビア語、ロシア語、フィンランド語、トルコ語、ヘブライ語という5つの形態学的に豊かな言語のパフォーマンスを評価するように設計されている。 英語のパフォーマンスが強いにもかかわらず、他の言語と競合する8つの多言語LLMと、一般的でない形態素パターンを評価した。
  論文  参考訳（メタデータ） (2025-06-30T14:58:23Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Thank You, Stingray: Multilingual Large Language Models Can Not (Yet) Disambiguate Cross-Lingual Word Sense [30.62699081329474]
  本稿では,言語間感覚曖昧化のための新しいベンチマーク,StingrayBenchを紹介する。 インドネシア語とマレー語、インドネシア語とタガログ語、中国語と日本語、英語とドイツ語の4つの言語ペアで偽の友人を集めます。 各種モデルの解析において,高リソース言語に偏りが生じる傾向が見られた。
  論文  参考訳（メタデータ） (2024-10-28T22:09:43Z)
• Large Language Models are Easily Confused: A Quantitative Metric, Security Implications and Typological Analysis [5.029635172046762]
  言語融合(Language Confusion)とは、大言語モデル(LLM)が所望の言語でもなく、文脈的に適切な言語でもテキストを生成する現象である。 我々は,この混乱を計測し定量化するために設計された,新しい計量であるLanguage Confusion Entropyを導入する。
  論文  参考訳（メタデータ） (2024-10-17T05:43:30Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。