論文の概要: Capacity Constraints and the Multilingual Penalty for Lexical Disambiguation

• arxiv url: http://arxiv.org/abs/2602.05035v1
• Date: Wed, 04 Feb 2026 20:42:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.608889
• Title: Capacity Constraints and the Multilingual Penalty for Lexical Disambiguation
• Title（参考訳）: 語彙的曖昧性に対する容積制約と多言語的罰則
• Authors: Sean Trott, Pamela D. Rivière,
• Abstract要約: 多言語言語モデル(LM)は、時としてモノリンガルモデルよりも性能が低いことを示す。 関係性判断のデータセットを用いた語彙的曖昧化のための「多言語ペナルティ」の定量化を行う。
• 参考スコア（独自算出の注目度）: 3.795745240553126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual language models (LMs) sometimes under-perform their monolingual counterparts, possibly due to capacity limitations. We quantify this ``multilingual penalty'' for lexical disambiguation--a task requiring precise semantic representations and contextualization mechanisms--using controlled datasets of human relatedness judgments for ambiguous words in both English and Spanish. Comparing monolingual and multilingual LMs from the same families, we find consistently reduced performance in multilingual LMs. We then explore three potential capacity constraints: representational (reduced embedding isotropy), attentional (reduced attention to disambiguating cues), and vocabulary-related (increased multi-token segmentation). Multilingual LMs show some evidence of all three limitations; moreover, these factors statistically account for the variance formerly attributed to a model's multilingual status. These findings suggest both that multilingual LMs do suffer from multiple capacity constraints, and that these constraints correlate with reduced disambiguation performance.
• Abstract（参考訳）: 多言語言語モデル (LM) は、能力制限のため、しばしばモノリンガルモデルよりも性能が低い。 語彙的曖昧さに対する「マルチティンガルペナルティ」を定量的に評価する - 英語とスペイン語のあいまいな単語に対する人間関係性判断の制御データセットを用いて、正確な意味表現と文脈化のメカニズムを必要とするタスクである。 同じ家系の単言語と多言語で比較すると、多言語での性能は一貫して低下している。 次に、表現性(埋め込み等方性)、注意性(不明瞭な手がかりへの注意の低減)、語彙関連(多面的セグメンテーションの増大)の3つの潜在的な容量制約について検討する。 さらに、これらの因子は、以前はモデルの多言語状態に起因していた分散を統計的に説明できる。 これらの結果から,多言語LMは複数の容量制約に悩まされていることが示唆された。

関連論文リスト

• Group then Scale: Dynamic Mixture-of-Experts Multilingual Language Model [38.0723521889505]
  18言語から128言語の実験結果から,本手法は言語間の負の移動を減らし,パラメータの少ない多言語性能を著しく向上させることが示された。 このような専門家の言語グループ専門化は、新しい言語適応の恩恵を受け、学習した過去の多言語知識に対する推論を減らす。
  論文  参考訳（メタデータ） (2025-06-14T07:56:18Z)
• When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
  言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。 トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-05-21T08:35:05Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Probing the Emergence of Cross-lingual Alignment during LLM Training [10.053333786023089]
  多言語大言語モデル(LLM)は、ゼロショットの多言語間転送性能を著しく向上させる。 本研究では,LLMの事前学習において,このような言語間アライメントがどのように出現するかを検討する。 ニューロンの重なり合いと下流性能の相関関係を観察する。
  論文  参考訳（メタデータ） (2024-06-19T05:31:59Z)
• Exploring Multilingual Concepts of Human Value in Large Language Models: Is Value Alignment Consistent, Transferable and Controllable across Languages? [34.38469832305664]
  本稿では,AIの安全性の重要性から,人間の価値観に関する概念(すなわち,価値の概念)に焦点を当てる。 我々はまず,LLMにおける価値概念の存在を多言語形式で実証的に確認した。 これらの概念の言語間特性に関するさらなる分析は、言語資源の相違から生じる3つの特徴を明らかにしている。
  論文  参考訳（メタデータ） (2024-02-28T07:18:39Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。