論文の概要: Cross-Lingual Alignment Without Joint Training: Do Monolingual Language Models Converge on Universal Representations?

• arxiv url: http://arxiv.org/abs/2608.27115v1
• Date: Thu, 27 Aug 2026 13:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.417018
• Title: Cross-Lingual Alignment Without Joint Training: Do Monolingual Language Models Converge on Universal Representations?
• Title（参考訳）: 共同学習を伴わない言語間アライメント:一言語モデルが普遍表現に収束しているか?
• Abstract要約: 多言語モデルの言語間アライメントは、典型的には共同訓練によるものである。 非並列データでトレーニングされた単言語モデルが、共同トレーニングなしで整合性表現を学習するかどうかを問う。
• 参考スコア（独自算出の注目度）: 25.211096690334355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-lingual alignment in multilingual language models is typically attributed to joint training: shared parameters, mixed-language batches, or explicit alignment objectives. We ask whether monolingual models trained on non-parallel data learn alignable representations without joint training. By testing on strictly monolingual language models, such as the Goldfish model families and independently developed models from different research labs, we find three results. Correlation: these models develop alignable representational geometry across layers, with alignment strengthening as data scale, model scale, or linguistic proximity increases. Construction: a single Procrustes rotation fit on parallel sentences maps hidden states between models. Causation: the same rotation transfers functional content; patching a rotated English residual into a German model on a factual cloze flips the prediction to the donor's capital in most cases. We confirm that cross-lingual alignment can emerge from the structure of language and the information it carries rather than from joint training, and this points to practical future directions including model stitching, merging, and modular multilingual systems built from monolingual components.
• Abstract（参考訳）: 多言語言語モデルの言語間アライメントは、通常、共通パラメータ、混合言語バッチ、明示的なアライメント目的といった共同トレーニングに起因している。 非並列データでトレーニングされた単言語モデルが、共同トレーニングなしで整合性表現を学習するかどうかを問う。 ゴールドフィッシュモデルファミリのような厳密な単言語モデルと、異なる研究室から独立して開発されたモデルをテストすることで、3つの結果が得られた。 相関モデル: これらのモデルは、データスケール、モデルスケール、言語的近接性の増加に伴って整合性を強化し、層間の整合性表現幾何学を発達させる。 構築: 1つのプロクリストローテーションが並列文に適合し、モデル間で隠れた状態をマップする。 カウセーション(Causation): 同じ回転が機能的内容を伝達し、回転した英語の残基を事実のクローゼ上でドイツのモデルに当てはめると、ほとんどの場合、ドナーの首都への予測が反転する。 言語間アライメントはジョイントトレーニングではなく,言語構造や伝達する情報から実現可能であることを確認し,モデル縫合,マージ,モノリンガルコンポーネントから構築されたモジュール型多言語システムなど,現実的な今後の方向性を示す。

関連論文リスト

• Double Trouble: Bilingual Pretraining Leaves Language-Conditioned Effects in Shared-Language Representations [25.913929585741034]
  埋め込みアライメントは、モデルが内部的に共用言語を表現する方法について、実際の違いを隠蔽する可能性がある。 この仮定はデコーダのみのモデルでは時期尚早であることを示す。
  論文  参考訳（メタデータ） (2026-08-27T03:39:24Z)
• On the Limits of Model Merging for Multilinguality in Pre-Training [49.9160455376296]
  混合・統合・単言語事前学習装置の有効性について検討した。 モノリンガル事前学習は言語内での強い性能をもたらすが、モノリンガルモデルの組み合わせをマージすると干渉による性能低下が生じる。
  論文  参考訳（メタデータ） (2026-05-25T13:38:33Z)
• One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging [30.967619128236777]
  完全微調整言語モデルによる多言語機械翻訳における重み空間のマージについて検討する。 我々の実験では、特にターゲット言語が異なる場合、マージが性能を低下させることが明らかとなった。 これらの結果は、多言語微調整が標準重み空間のマージ仮定との整合性を低下させる方法で幾何学を再構築する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2026-04-03T08:45:26Z)
• False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models [53.01170039144264]
  多言語コーパスで訓練されたサブワードトークンライザは、言語間で重複するトークンを自然に生成する。 トークンの重複は言語間転送を促進するのか、それとも言語間の干渉を導入するのか? 相反する語彙を持つモデルでは、重なり合う結果が得られます。
  論文  参考訳（メタデータ） (2025-09-23T07:47:54Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment [42.624862172666624]
  本稿では,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。 多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。 実験結果から,事前学習トークンが0.1文未満であっても,アライメントフレームワークは生成言語モデルの言語間相互性を大幅に向上させることが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-14T11:24:08Z)
• Causal Analysis of Syntactic Agreement Neurons in Multilingual Language Models [28.036233760742125]
  我々は多言語言語モデル(XGLMと多言語BERT)を様々な言語で因果的に探索する。 自己回帰型多言語言語モデルでは、言語間で大きなニューロンオーバーラップが見られるが、マスキング言語モデルではない。
  論文  参考訳（メタデータ） (2022-10-25T20:43:36Z)
• Language Anisotropic Cross-Lingual Model Editing [61.51863835749279]
  既存の作業はモノリンガルのシナリオのみを研究しており、言語間で同時に編集を行うための言語間転送能力が欠如している。 本稿では,並列コーパスを用いた一言語モデル編集手法を言語間シナリオに適用する枠組みを提案する。 本研究では,複数言語への編集の伝播における単言語ベースラインの失敗と,提案言語異方性モデル編集の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2022-05-25T11:38:12Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Bilingual alignment transfers to multilingual alignment for unsupervised parallel text mining [3.4519649635864584]
  本研究は、ペアまたはペアなしのバイリンガルテキストを用いた言語間表現の学習手法を提案する。 我々は、言語間アライメント戦略は転送可能であり、2つの言語のみをアライメントするように訓練されたモデルは、多言語的によりアライメントされた表現を符号化できると仮定する。
  論文  参考訳（メタデータ） (2021-04-15T17:51:22Z)
• ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora [21.78571365050787]
  ERNIE-Mは、複数の言語の表現をモノリンガルコーパスと整合させる新しいトレーニング手法である。 単言語コーパス上で擬似並列文ペアを生成し、異なる言語間のセマンティックアライメントの学習を可能にする。 実験結果から,ERNIE-Mは既存の言語間モデルよりも優れており,様々な言語間下流タスクに対して新たな最先端結果を提供することがわかった。
  論文  参考訳（メタデータ） (2020-12-31T15:52:27Z)
• Structure-Level Knowledge Distillation For Multilingual Sequence Labeling [73.40368222437912]
  本稿では,複数の単言語モデルの構造的知識を統一多言語モデル(学生)に蒸留することにより,単言語モデルと統一多言語モデルとのギャップを低減することを提案する。 25のデータセットを用いた4つの多言語タスクの実験により、我々のアプローチはいくつかの強いベースラインを上回り、ベースラインモデルと教師モデルの両方よりも強力なゼロショット一般化性を有することが示された。
  論文  参考訳（メタデータ） (2020-04-08T07:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。