論文の概要: Leaving the Cave by Breaking the Symmetry: Identifiable Structure Can Enable Cross-Lingual Generalization

• arxiv url: http://arxiv.org/abs/2610.38509v1
• Date: Wed, 28 Oct 2026 09:25:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 10:27:28.070996
• Title: Leaving the Cave by Breaking the Symmetry: Identifiable Structure Can Enable Cross-Lingual Generalization
• Title（参考訳）: シンメトリーを破って洞窟を放つ: 認識可能な構造は言語間一般化を可能にする
• Abstract要約: 利用可能な関係制約数対応が得られたとき、言語間アライメントが選択的に現れる。 この結果から,共有世界における関係構造は,エンティティアライメントを促進し,移動を可能にすることが示唆された。
• 参考スコア（独自算出の注目度）: 23.660709594509314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Why do multilingual language models generalize across languages even without shared vocabulary? The Platonic Representation Hypothesis posits that models trained on different data, objectives, and modalities converge toward a shared statistical model of reality. Extending this intuition to representations inside a single multilingual model, we propose the Relational Identifiability Hypothesis: relations in a shared world can promote entity alignment by ruling out alternative cross-lingual correspondences, making corresponding entities more likely to become directly readable without an additional transformation. We test this hypothesis in a controlled bilingual Transformer whose two token-disjoint languages describe the same modular-arithmetic world. We find that the languages can develop a shared answer subspace without aligning corresponding numbers. Cross-lingual alignment emerges selectively when the available relations constrain number correspondences: subtraction makes zero task-level identifiable, inducing selective alignment, while an order-sensitive operation produces broad alignment across numbers. These patterns predict success in zero-shot cross-lingual transfer. Together, our results show that relational structure in a shared world can promote entity alignment and enable transfer.
• Abstract（参考訳）: 語彙を共有しなくても、多言語モデルが言語全体に一般化する理由? プラトン表現仮説(英: Platonic Representation hypothesis)は、異なるデータ、目的、モダリティに基づいて訓練されたモデルが現実の共有統計モデルに収束するという仮説である。 この直感を1つの多言語モデル内の表現に拡張し、リレーショナル・アイデンティティ可能性仮説(Relational Identifiability hypothesis)を提案する。 我々はこの仮説を、2つのトークン非結合言語が同じモジュラー・アダルトメティックな世界を記述する制御バイリンガル変換器で検証する。 これらの言語は、対応する数を調整することなく、共有回答部分空間を開発できることが判明した。 減算はタスクレベルをゼロにし、選択的なアライメントを誘導する一方、順序に敏感な操作は数にわたって広いアライメントを生成する。 これらのパターンは、ゼロショットの言語間移動の成功を予測する。 この結果から,共有世界における関係構造は,エンティティアライメントを促進し,移動を可能にすることが示唆された。

関連論文リスト

• A theory of platonic representations in language models [11.710169289839783]
  データには階層構造が隠されているという仮定に基づく説明を提供する。 我々は、文脈自由文法から合成言語を生成し、上位レベルを共有するが、下位レベルの生産ルールは共有しない。
  論文  参考訳（メタデータ） (2026-10-05T18:00:09Z)
• Cross-Lingual Alignment Without Joint Training: Do Monolingual Language Models Converge on Universal Representations? [25.211096690334355]
  多言語モデルの言語間アライメントは、典型的には共同訓練によるものである。 非並列データでトレーニングされた単言語モデルが、共同トレーニングなしで整合性表現を学習するかどうかを問う。
  論文  参考訳（メタデータ） (2026-08-27T13:27:18Z)
• Soft Token Alignment for Cross-Lingual Reasoning [31.882767320907572]
  SOLARは教師付き微調整のための補助的目的であり、言語間でソフトトケン表現を整列させる。 次に、共有埋め込み空間において、各非英語のソフトトーケン要約を英語のそれと一致させる。 SOLARの精度はベースモデルで+17.7ポイント、標準教師付き微調整で+3.8ポイント向上している。
  論文  参考訳（メタデータ） (2026-06-25T00:01:58Z)
• On the Entity-Level Alignment in Crosslingual Consistency [62.33186691736433]
  SubSubとSubInjは、主題の英語翻訳を言語間のプロンプトに統合し、実際のリコール精度と一貫性を大きく向上させた。 これらの介入はモデルの内部ピボット言語処理を通じて概念空間における実体表現のアライメントを強化する。
  論文  参考訳（メタデータ） (2025-10-11T16:26:50Z)
• False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models [53.01170039144264]
  多言語コーパスで訓練されたサブワードトークンライザは、言語間で重複するトークンを自然に生成する。 トークンの重複は言語間転送を促進するのか、それとも言語間の干渉を導入するのか? 相反する語彙を持つモデルでは、重なり合う結果が得られます。
  論文  参考訳（メタデータ） (2025-09-23T07:47:54Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。