論文の概要: There is No Theoretical Curse of Multilinguality For Embedding Space Structure

• arxiv url: http://arxiv.org/abs/2608.17088v1
• Date: Mon, 17 Aug 2026 19:50:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.120193
• Title: There is No Theoretical Curse of Multilinguality For Embedding Space Structure
• Title（参考訳）: 空間構造を埋め込むための多言語性の理論的曲線は存在しない
• Abstract要約: 多言語NLPの主な目的は、言語ごとの高い単言語性能と、多言語モデルによる大規模言語カバレッジのための言語間アライメントを実現することである。 多言語性の呪いは、言語カバレッジを増加させるにつれて多言語モデルの性能が低下する現象を記述している。 本稿では,多言語埋め込み空間が,必要容量の制限的増加を伴わずに,完全多言語性を実現することができないかどうかを問う。
• 参考スコア（独自算出の注目度）: 21.81373742083686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central goal of multilingual NLP is to achieve high monolingual performance per language and cross-lingual alignment for large-scale language coverage with a multilingual model. The curse of multilinguality describes the phenomenon of degradation in multilingual model performance as we increase language coverage, posing a threat to the above goal. This paper asks whether multilingual embedding spaces are inherently incapable of achieving perfect multilinguality without a prohibitive increase in required capacity. We first formalize the goal of "perfect multilinguality", embodied in two multilinguality conditions. We then prove that the minimum dimensionality required for perfect multilinguality grows only logarithmically in the number of languages. That is, we show that there is no theoretical curse of multilinguality for embedding space structure. This suggests that the empirical curse of multilinguality is a result of real world data and training conditions. We back this understanding with a small-scale empirical study. Our paper provides the first theoretical and intrinsic perspective on the curse of multilinguality, with implications for the scientific understanding of this phenomenon.
• Abstract（参考訳）: 多言語NLPの主な目的は、言語ごとの高い単言語性能と、多言語モデルによる大規模言語カバレッジのための言語間アライメントを実現することである。 多言語性の呪いは、言語カバレッジを増加させるにつれて多言語モデルのパフォーマンスが低下する現象を表現し、上記の目標に脅威をもたらす。 本稿では,多言語埋め込み空間が,必要容量の制限的増加を伴わずに,完全多言語性を実現することができないかどうかを問う。 まず,2つの多言語性条件を具現化した「完全多言語性」の目標を定式化する。 そして、完全多言語性に必要な最小次元性は、言語数において対数的にのみ増加することを証明した。 すなわち、空間構造を埋め込むための多言語性の理論的呪いは存在しないことを示す。 これは、多言語性の実証的な呪いは、実世界のデータと訓練条件の結果であることを示している。 われわれはこの理解を小規模な実証研究で裏付ける。 本稿は,多言語性の呪いに関する最初の理論的・本質的な視点を提供し,この現象の科学的理解を示唆するものである。

関連論文リスト

• Lost in the Tower of Babel: The Adverse Effects of Incidental Multilingualism in LLMs [25.841183184960475]
  本稿では,現代多言語NLPが,偶発的多言語主義の脆弱で誤解を招くパラダイムに収束していることを論じる。 このパラダイムは言語間の不平等、不安定、不透明な振る舞いを体系的に生み出すと我々は主張する。 この問題に対処するためには、設計による多言語主義へのシフトが必要だ。
  論文  参考訳（メタデータ） (2026-05-02T03:39:12Z)
• English is Not All You Need: Systematically Exploring the Role of Multilinguality in LLM Post-Training [7.141617235075284]
  ポストトレーニングパイプラインは主に英語中心であり、言語間のパフォーマンス格差に寄与している。 本稿では,学習言語カバレッジ,モデルスケール,タスクドメイン間の相互作用を体系的に制御した研究を行う。 ポストトレーニング中の言語カバレッジの増加は、タスクやモデルスケールに大きく影響している。
  論文  参考訳（メタデータ） (2026-04-14T20:26:34Z)
• Bringing Up a Bilingual BabyLM: Investigating Multilingual Language Acquisition Using Small-Scale Models [2.475536483276974]
  我々は,多種多様な高度に制御された露光条件をシミュレートする手法として,言語モデルトレーニングを用いる。 合成データと機械翻訳を用いて,一致した100Mワードの単言語とバイリンガルのデータセットを作成する。 モデルスケールと測定値全体では、バイリンガルモデルは1つの言語におけるモノリンガルモデルと同様に機能するが、第2言語でも強い性能を示す。
  論文  参考訳（メタデータ） (2026-03-31T10:32:25Z)
• High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
  大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。 資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。 多言語 LLM は非一貫性な言語間アライメントを示す。
  論文  参考訳（メタデータ） (2025-03-14T10:39:27Z)
• On the Acquisition of Shared Grammatical Representations in Bilingual Language Models [6.266732217239363]
  言語間移動は、現代言語モデルの多言語能力にとって重要であるが、どのように起こるかはよく理解されていない。 第二言語でトレーニングを始めると、モノリンガル言語モデルに何が起こるのかを尋ねる。 共有多言語表現の証拠を見つけるために,人間の文法表現を研究するために用いられる構造プライミングに目を向ける。
  論文  参考訳（メタデータ） (2025-03-05T23:27:58Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  大規模言語モデル(LLM)における多言語機能向上のための新しいアプローチであるLensを提案する。 Lensは2つの部分空間で機能する: 言語に依存しない部分空間で、ターゲット言語と中心言語を一致させて強力な意味表現を継承する部分空間、言語固有の部分空間で、ターゲット言語と中心言語を分離して言語的特異性を保存する部分空間である。 レンズは、モデルの英語能力を維持しながら、多言語のパフォーマンスを著しく向上させ、既存の訓練後のアプローチと比べて計算コストの低い結果を得る。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Exploring Multilingual Concepts of Human Value in Large Language Models: Is Value Alignment Consistent, Transferable and Controllable across Languages? [34.38469832305664]
  本稿では,AIの安全性の重要性から,人間の価値観に関する概念(すなわち,価値の概念)に焦点を当てる。 我々はまず,LLMにおける価値概念の存在を多言語形式で実証的に確認した。 これらの概念の言語間特性に関するさらなる分析は、言語資源の相違から生じる3つの特徴を明らかにしている。
  論文  参考訳（メタデータ） (2024-02-28T07:18:39Z)
• Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is Needed? [40.13166574854085]
  英語中心の大規模言語モデルにおいて,多言語間の一般化を実現するために必要な最小限の多言語性について検討する。 複数言語から3言語までの多言語命令チューニングは,効果的な言語間一般化を実現するのに必要かつ十分であることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T00:49:52Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。