論文の概要: Group-Invariant Statistics Determine Embedding Geometry: Harmonic Analysis of Representations from Bach to the Night Sky

• arxiv url: http://arxiv.org/abs/2610.00647v1
• Date: Wed, 30 Sep 2026 19:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.735006
• Title: Group-Invariant Statistics Determine Embedding Geometry: Harmonic Analysis of Representations from Bach to the Night Sky
• Title（参考訳）: 群不変統計学による埋め込み幾何学の決定:バッハから夜空への表現の高調波解析
• Abstract要約: 最近の研究はこれらの構造を、単語共起統計学において$textittranslation symmetric$に辿った。 より一般的な対称性の概念が等しく構造化された予測につながることを実証する。
• 参考スコア（独自算出の注目度）: 7.628386193630387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The representations that language models learn for concepts such as months, weekdays, and places display consistent geometric structure: circles and saddle-shaped "Pringle" manifolds. Recent work traced these structures to $\textit{translation symmetry}$ in word co-occurrence statistics, deriving the observed Fourier geometry when co-occurrence depends only on distance on an abelian lattice of concepts. We demonstrate that more general notions of symmetry lead to equally structured predictions. Considering symmetries defined by arbitrary finite groups, compact groups, and homogeneous spaces, we prove that whenever the co-occurrence statistics of a word family are invariant under a group $G$, the learned word embeddings consist of matrix elements of the irreducible representations (irreps) of $G$. Circles and Pringles arise when $G$ is cyclic, in which case the irreps are Fourier modes. We verify the irrep structure in three experimental settings. (i) The cyclic group $\mathbb{Z}_{12}$: for the months of the year we recover the known circular geometry. (ii) A dihedral group acting on the major and minor triads: we unify two classical observations -- that transposition and chord inversion form a group ($T/I$) acting on chords (music theory), which $\textit{implies}$ that the well-known "circle of fifths" emerges in learned chord embeddings (machine learning). (iii) We explain and reproduce a recently discovered spherical representation of celestial objects in large language models (LLMs) as a spherical-harmonic embedding derived from our theory. Our results demonstrate that the geometry of learned representations is often a consequence of the statistical symmetry of underlying data.
• Abstract（参考訳）: 言語モデルが月、平日、場所といった概念のために学習する表現は、円とサドル型の「プリングル」多様体という一貫した幾何学的構造を示す。 最近の研究はこれらの構造を $\textit{translation symmetric}$ という単語共起統計学に遡り、共起が概念のアーベル格子上の距離にのみ依存する場合に観測されたフーリエ幾何学を導いた。 より一般的な対称性の概念が等しく構造化された予測につながることを実証する。 任意の有限群、コンパクト群、および同次空間で定義される対称性を考えると、単語族の共起統計が群$G$の下で不変であるときに、学習された単語埋め込みは、$G$の既約表現(英語版)(irreps)の行列要素からなることを証明する。 円とプリングル(英語版)は、$G$が巡回的であるときに生じ、その場合、イデップはフーリエモードである。 3つの実験環境において, 既知構造を検証した。 (i)巡回群 $\mathbb{Z}_{12}$:その年の数ヶ月の間、既知の円形幾何を回復する。 (II)2つの古典的な観察を統一し、音節に作用する群(T/I$)を形成し、その群(音楽理論)は、よく知られた「五つの円」が学習した和音の埋め込み(機械学習)に現れる。 3)大言語モデル(LLM)における天体の球面表現を,我々の理論から導かれた球面-高調波埋め込みとして説明し,再現する。 以上の結果から,学習した表現の幾何学は,基礎となるデータの統計的対称性の結果であることが明らかとなった。

関連論文リスト

• Efficient Learning and Symmetry Discovery under Exact Invariances [62.27019402162741]
  群不変性による学習は多くの科学的および幾何学的な学習問題の中心である。 与えられた群作用のちょうど部分群にある回帰関数を効率的に計算できるかどうかは不明である。 有限群と無限群に一様に適用する正確な群不変量を持つ学習アルゴリズムを初めて提案する。
  論文  参考訳（メタデータ） (2026-09-07T04:35:19Z)
• Tessellation Groups, Harmonic Analysis on Non-compact Symmetric Spaces and the Heat Kernel in view of Cartan Convolutional Neural Networks [0.0]
  本稿では,次の段階に進むために必要な数学的基礎的な側面に焦点をあてる。 目的は、数学的に非コンパクト対称空間としてモデル化された層を導入することである。 特に、TS の部分多様体が基底空間であるような Tits Satake (TS) ベクトル束の概念を導入している。
  論文  参考訳（メタデータ） (2025-08-22T00:27:03Z)
• Soft symmetries of topological orders [0.0]
  (2+1)D 位相順序は、群 $textAut(mathcalC)$ によって与えられる創発的対称性を持つ。 本稿では、textAut(mathcalC)$ が、いかなる対称性の分数化にも関係しないが、それでも非自明な要素を持つ場合について論じる。
  論文  参考訳（メタデータ） (2025-01-06T19:00:00Z)
• Geometric Clifford Algebra Networks [53.456211342585824]
  本稿では,動的システムのモデリングのためのGeometric Clifford Algebra Networks (GCANs)を提案する。 GCANは幾何学的(クリフォード)代数を用いた対称性群変換に基づいている。
  論文  参考訳（メタデータ） (2023-02-13T18:48:33Z)
• Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras from First Principles [55.41644538483948]
  ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。 完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。 また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
  論文  参考訳（メタデータ） (2023-01-13T16:25:25Z)
• Zero-shot point cloud segmentation by transferring geometric primitives [68.18710039217336]
  ゼロショットポイントクラウドセマンティックセマンティックセマンティックセマンティクスについて検討し、そこではネットワークが見えないオブジェクトに対してトレーニングされ、見えないオブジェクトをセマンティクスできる。 本研究では,視覚的および視覚的カテゴリーのオブジェクトで共有される幾何学的プリミティブを学習し,言語と学習された幾何学的プリミティブとの微粒なアライメントを利用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T15:06:54Z)
• The Geometry of Time in Topological Quantum Gravity of the Ricci Flow [41.94295877935867]
  我々は、リッチフロー方程式の族に付随する非相対論的量子重力の研究を継続する。 この位相重力はコホモロジー型であり、$cal N=2$拡張BRST対称性を示す。 我々は、場が$g_ij$, $ni$, $n$であり、(i)$g_ij$の位相的変形と(ii)超局所非相対論的空間の極限からなる理論の標準的な一段階BRSTゲージ固定を実証する。
  論文  参考訳（メタデータ） (2020-11-12T06:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。