論文の概要: A theory of platonic representations in language models

• arxiv url: http://arxiv.org/abs/2610.07168v1
• Date: Mon, 05 Oct 2026 18:00:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.575992
• Title: A theory of platonic representations in language models
• Title（参考訳）: 言語モデルにおけるプラトニック表現の理論
• Abstract要約: データには階層構造が隠されているという仮定に基づく説明を提供する。 我々は、文脈自由文法から合成言語を生成し、上位レベルを共有するが、下位レベルの生産ルールは共有しない。
• 参考スコア（独自算出の注目度）: 11.710169289839783
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representations of translated sentences are similar in the inner layers of multilingual language models -- an observation connected to the platonic representation hypothesis, yet unexplained theoretically. We provide an explanation based on the assumption that data have a hidden hierarchical structure whose abstract levels are shared across languages while surface levels are modality- or language-specific. Concretely, we generate synthetic languages from probabilistic context-free grammars sharing upper-level but not lower-level production rules. In this setting the Bayes-optimal next-token predictor is belief propagation (BP); encoding its messages in successive layers yields analytical predictions that agree well with transformers trained on the same data. The framework explains why cross-lingual similarity peaks in middle layers, coexists with language-specific structure, and strengthens with language proximity, model quality and data exposure. It distinguishes similarity (shared neighborhood geometry) from alignment (shared coordinates), showing that the latter occurs when code-switched data, i.e. mixed-language sentences, are abundant enough. It further predicts that subtracting from each layer the component linearly predictable from the preceding one increases cross-lingual similarity, which we confirm in pretrained LLMs.
• Abstract（参考訳）: 翻訳文の表現は多言語モデルの内層に似ており、プラトニックな表現仮説と結びついた観察であるが、理論的には説明されていない。 我々は,データには抽象レベルが言語間で共有され,表面レベルがモダリティあるいは言語固有であるような,隠れ階層構造が存在するという仮定に基づく説明を提供する。 具体的には,確率論的文脈自由文法から合成言語を生成する。 この設定では、ベイズ最適次トーケン予測器は信念伝播(BP)であり、そのメッセージを連続層に符号化すると、同じデータで訓練された変換器とよく一致する解析的予測が得られる。 このフレームワークは、中間層で言語間の類似性がピークに達し、言語固有の構造と共存し、言語に近いもの、モデル品質、データ露出が強化される理由を説明している。 類似性(共有近傍幾何学)とアライメント(共有座標)を区別し、コード切替されたデータ、すなわち混合言語文が十分に豊富なときに後者が生じることを示す。 さらに, 各層から線形に予測可能な成分を抽出することで, 言語間類似度が増大し, 事前学習したLCMで確認される。

関連論文リスト

• Improving Cross-Lingual Transfer for Sequential Sentence Classification in Research Papers via Structural Similarity [2.966819959179503]
  逐次文分類(SSC)は、科学出版物を構築する上で不可欠な課題である。 言語間移動は、非英語言語におけるトレーニングデータの不足に対処するための有望なアプローチである。
  論文  参考訳（メタデータ） (2026-09-17T03:47:49Z)
• Cross-lingual robustness of LLM-brain alignment and its computational roots [7.342679013491229]
  大規模言語モデル(LLM)は、言語理解とトランスフォーマー深度の間の神経活動を確実に予測する。 脳-LLMアライメントを3言語に分けて検討するために,多言語,全脳符号化フレームワークを用いた。
  論文  参考訳（メタデータ） (2026-05-20T11:34:05Z)
• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• Investigating and Scaling up Code-Switching for Multilingual Language Model Pre-Training [58.696660064190475]
  コンテクスト内の異なる言語間を交互に交換するコードスイッチの存在が、多言語機能の鍵であることに気付きました。 事前学習における言語アライメントのためのコードスイッチングのパワーをよりよく探求するために,合成コードスイッチングの戦略について検討する。
  論文  参考訳（メタデータ） (2025-04-02T15:09:58Z)
• Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse [54.08750245737734]
  話者は、階層的に構造化された談話モデル内の位置に基づいて、情報率を変調する。 階層的予測器は談話の情報輪郭の重要な予測器であり,深い階層的予測器は浅い予測器よりも予測力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-21T14:42:37Z)
• Towards a theory of how the structure of language is acquired by deep neural networks [6.363756171493383]
  木のような生成モデルを用いて、自然言語で見られる階層構造の多くをキャプチャする。 トークンとトークンの相関は文法の隠れ変数の表現を構築するのに有効であることを示す。 トレーニングセットのサイズと効果的な相関範囲の関係は、我々の合成データセットを超えていると推測する。
  論文  参考訳（メタデータ） (2024-05-28T17:01:22Z)
• Hyperpolyglot LLMs: Cross-Lingual Interpretability in Token Embeddings [4.2243058640527575]
  言語間移動学習は多言語大言語モデル(LLM)の重要な特性である 1)事前学習とモデルアーキテクチャが言語表現に与える影響,2)言語モデルに埋め込まれた言語間表現の応用について検討する。
  論文  参考訳（メタデータ） (2023-11-29T19:20:14Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。