論文の概要: Benchmarking Concept-Spilling Across Languages in LLMs

• arxiv url: http://arxiv.org/abs/2601.12549v1
• Date: Sun, 18 Jan 2026 19:28:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.67856
• Title: Benchmarking Concept-Spilling Across Languages in LLMs
• Title（参考訳）: LLMにおける言語間のベンチマーク概念
• Authors: Ilia Badanin, Daniil Dzenhaliou, Imanol Schlag,
• Abstract要約: 大規模言語モデル(LLM)は言語間の優れた能力を示すが、他の言語からの表現に対する体系的なバイアスを示すことが多い。 本稿では,言語間の多文語をモデルがどう扱うかを測定することで,多言語意味的ロバスト性を評価するための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.577675422356702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual Large Language Models (LLMs) exhibit remarkable cross-lingual abilities, yet often exhibit a systematic bias toward the representations from other languages, resulting in semantic interference when generating content in non-English languages$-$a phenomenon we define as language spilling. This paper presents a novel comparative framework for evaluating multilingual semantic robustness by systematically measuring how models handle polysemous words across languages. Our methodology provides a relative measure of model performance: when required to generate exactly five meanings, both strong and weak models may resort to meanings from dominant languages, but semantically stronger models do so later in the generation sequence, producing more true meanings from the target language before failing, while weaker models resort to dominant-language meanings earlier in the sequence. We evaluate a diverse set of open and closed multilingual LLMs using a structured meaning generation task across nine languages, employing a carefully curated benchmark of 100 high-polysemy English words. Our findings reveal significant variation in semantic robustness across both models and languages, providing a principled ranking system for model comparison without requiring definitive causal attribution of error sources. We contribute both a scalable comparative benchmark for multilingual semantic evaluation and a rigorous validation pipeline$-$critical tools for developing more linguistically balanced AI systems.
• Abstract（参考訳）: 多言語大言語モデル (LLMs) は言語間能力に優れるが、他の言語からの表現に対して体系的な偏りを呈することが多く、非英語でコンテンツを生成する際に意味的干渉をもたらす。 本稿では,言語間の多文単語の扱い方を体系的に測定することにより,多言語意味的ロバスト性を評価するための新しいフレームワークを提案する。 我々の手法はモデル性能の相対的な尺度を提供する: 正確に5つの意味を生成する必要がある場合、強いモデルと弱いモデルの両方が支配的な言語から意味を取り入れるが、意味的に強いモデルは後々生成シーケンスでそうし、失敗する前にターゲット言語からより真の意味を生み出す。 我々は,9言語にまたがる構造化された意味生成タスクを用いて,オープン・クローズドな多言語LLMの多種多様なセットを評価し,ハイポリセミー英語100語を注意深く評価した。 本研究は,モデルと言語間の意味的ロバスト性の有意な変動を明らかにし,誤り源の因果帰属を必要とせず,モデル比較のための基本的ランキングシステムを提供する。 我々は、多言語セマンティック評価のためのスケーラブルな比較ベンチマークと、より言語的にバランスの取れたAIシステムを開発するための厳格な検証パイプラインの2つに貢献する。

関連論文リスト

• Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation [49.2073409243885]
  大規模言語モデル(LLM)は、英語の対物生成に優れ、多言語習熟度を示す。 対象言語における直接生成された反事実と6言語間の英訳によって導出されるものの両方について自動評価を行う。 言語間で生成した偽物に一貫して現れる4つの主要なエラーを識別し分類する。
  論文  参考訳（メタデータ） (2026-01-01T08:53:49Z)
• Evaluating Large Language Models on Multiword Expressions in Multilingual and Code-Switched Contexts [2.519319150166215]
  本研究では,現在最先端の言語モデルが,潜在的に慣用的なマルチワード表現のあいまいさをどのように処理するかを評価する。 大きな言語モデルは、その強みにも拘わらず、ニュアンスド言語に苦戦している。
  論文  参考訳（メタデータ） (2025-04-10T16:39:28Z)
• AdaMCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Multilingual Chain-of-Thought [40.16140566668239]
  AdaMCOTは多言語の事実推論を強化するフレームワークである。 AdaMCOTは、ターゲット言語応答を生成する前に、中間言語における思考プロセスを動的にルーティングする。 本評価は, 事実推論品質と言語間整合性の両方において, 大幅な改善を示すものである。
  論文  参考訳（メタデータ） (2025-01-27T15:48:57Z)
• Multilingual Conceptual Coverage in Text-to-Image Models [98.80343331645626]
  コンセプチュアル・カバー・アクロス言語(Conceptual Coverage Across Languages, CoCo-CroLa)とは、任意の生成的テキスト・画像システムにおいて、有形名詞の観点から学習言語に多言語対応を提供する程度をベンチマークする手法である。 各モデルについて、ソースコード中の一連の有形名詞に生成される画像の集団と、対象言語に翻訳された各名詞に生成された画像の集団とを比較することにより、ソース言語に対して与えられた対象言語の「概念的カバレッジ」を評価することができる。
  論文  参考訳（メタデータ） (2023-06-02T17:59:09Z)
• HiJoNLP at SemEval-2022 Task 2: Detecting Idiomaticity of Multiword Expressions using Multilingual Pretrained Language Models [0.6091702876917281]
  本稿では,多言語事前学習言語モデル上でのMWEの文脈的表現からのみ慣用性を検出する手法について述べる。 実験の結果,より大きなモデルの方が慣用性検出に有効であることが確認された。
  論文  参考訳（メタデータ） (2022-05-27T01:55:59Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。