論文の概要: High-Dimensional Interlingual Representations of Large Language Models
- arxiv url: http://arxiv.org/abs/2503.11280v1
- Date: Fri, 14 Mar 2025 10:39:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-17 13:07:56.673066
- Title: High-Dimensional Interlingual Representations of Large Language Models
- Title（参考訳）: 大規模言語モデルの高次元言語間表現
- Authors: Bryan Wilie, Samuel Cahyawijaya, Junxian He, Pascale Fung,
- Abstract要約: 大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。
資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。
多言語 LLM は非一貫性な言語間アライメントを示す。
- 参考スコア（独自算出の注目度）: 65.77317753001954
- License:
- Abstract: Large language models (LLMs) trained on massive multilingual datasets hint at the formation of interlingual constructs--a shared subspace in the representation space. However, evidence regarding this phenomenon is mixed, leaving it unclear whether these models truly develop unified interlingual representations, or present a partially aligned constructs. We explore 31 diverse languages varying on their resource-levels, typologies, and geographical regions; and find that multilingual LLMs exhibit inconsistent cross-lingual alignments. To address this, we propose an interlingual representation framework identifying both the shared interlingual semantic subspace and fragmented components, existed due to representational limitations. We introduce Interlingual Local Overlap (ILO) score to quantify interlingual alignment by comparing the local neighborhood structures of high-dimensional representations. We utilize ILO to investigate the impact of single-language fine-tuning on the interlingual representations in multilingual LLMs. Our results indicate that training exclusively on a single language disrupts the alignment in early layers, while freezing these layers preserves the alignment of interlingual representations, leading to improved cross-lingual generalization. These results validate our framework and metric for evaluating interlingual representation, and further underscore that interlingual alignment is crucial for scalable multilingual learning.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、表現空間における共有部分空間である言語間構造の形成を示唆する。
しかし、この現象に関する証拠は混在しており、これらのモデルが真に統一的な言語間表現を発達させるか、あるいは部分的に整列した構成を提示するかは明らかでない。
資源レベル,類型,地域によって異なる31の多言語を探索し,多言語 LLM が不整合な言語間アライメントを示すことを発見した。
そこで本研究では,言語間セマンティックな部分空間の共有と,表現の制限により存在する断片化の両方を識別する言語間表現フレームワークを提案する。
高次元表現の局所的近傍構造を比較することで、言語間アライメントを定量化するために、言語間局所オーバーラップ(ILO)スコアを導入する。
ILOを用いて,多言語LLMの言語間表現に対する単一言語微調整の影響について検討する。
以上の結果から,単一言語のみによるトレーニングは初期階層のアライメントを阻害する一方で,これらのレイヤの凍結は言語間表現のアライメントを保ち,言語間一般化の改善につながることが示唆された。
これらの結果は、言語間表現を評価するためのフレームワークとメトリクスを検証し、さらに、言語間アライメントがスケーラブルな多言語学習に不可欠であることを示す。
関連論文リスト
- Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである
LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。
既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
論文 参考訳（メタデータ） (2024-10-06T08:51:30Z) - Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。
しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか?
本研究は,言語横断的タスクにおける最先端LLMの評価である。
論文 参考訳（メタデータ） (2024-06-23T15:15:17Z) - Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment [42.624862172666624]
本稿では,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。
多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。
実験結果から,事前学習トークンが0.1文未満であっても,アライメントフレームワークは生成言語モデルの言語間相互性を大幅に向上させることが明らかとなった。
論文 参考訳（メタデータ） (2023-11-14T11:24:08Z) - Cross-Lingual Ability of Multilingual Masked Language Models: A Study of
Language Structure [54.01613740115601]
本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。
我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
論文 参考訳（メタデータ） (2022-03-16T07:09:35Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳（メタデータ） (2021-09-01T09:32:06Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - Finding Universal Grammatical Relations in Multilingual BERT [47.74015366712623]
mBERT表現のサブスペースは、英語以外の言語で構文木の距離を回復することを示す。
我々は,mBERTが構文依存ラベルの表現を学習する証拠を提供する教師なし解析手法を提案する。
論文 参考訳（メタデータ） (2020-05-09T20:46:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。