論文の概要: Structure Before Collapse: Transient semantic geometry in next-token prediction
- arxiv url: http://arxiv.org/abs/2606.26749v1
- Date: Thu, 25 Jun 2026 08:33:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.216769
- Title: Structure Before Collapse: Transient semantic geometry in next-token prediction
- Title（参考訳）: 崩壊前の構造:次世代予測における過渡的意味幾何学
- Abstract要約: Neural Collapseは、バランスの取れたワンホット分類が、モデル表現を互いに等しく遠くにプッシュする、と予測する。
次世代の予測言語モデルは、主にワンホットラベルでトレーニングされる。
トレーニングの初期に意味幾何学が出現し,共有属性によるクラスタ表現が現れる。
- 参考スコア（独自算出の注目度）: 33.942301586178914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Collapse predicts that balanced one-hot classification pushes model representations to be equally far from each other; a symmetric configuration that depends only on the output label and ignores any semantic similarity in the inputs. This creates a puzzle: next-token prediction language models are trained predominantly (as context length increases) with one-hot labels: the same context is very unlikely to appear twice in training with different labels. However, they clearly learn latent structural features. That is, despite the one-hot training regime, a language model's contextual embeddings represent the fact that the next word in ''Mary broke the ___'' is likely to be filled by tokens in the latent classes of a) medium-sized, b) rigid, c) inanimate nouns. How does gradient descent find such categorical semantic structure when co-occurrence statistics collapse to one-hot sparsity, eliminating any shared next-tokens among different contexts? To investigate this tension we identify three synthetic controlled settings where inputs have latent semantic factors but are mapped to distinct one-hot labels. We find that semantic geometry emerges early in training, and that representations cluster by shared attributes despite receiving no explicit supervision to do so. This structure is transient: with sufficient capacity and time, the model eventually reaches the predicted symmetric state where all representations are equally separated. We study this phase transition through Gram matrix analysis and propose a preliminary modification to the commonly used unconstrained features model to capture the emergent semantic geometry.
- Abstract（参考訳）: Neural Collapseは、バランスの取れたワンホット分類が、モデル表現を互いに等しく遠くにプッシュする、と予測している。
次トーケン予測言語モデルは、(文脈長が増加するにつれて)1ホットラベルで主にトレーニングされる:同じコンテキストが異なるラベルでトレーニング中に2度現れる可能性は極めて低い。
しかし、それらは明らかに潜在的な構造的特徴を学習する。
つまり、ワンホットのトレーニング体制にもかかわらず、言語モデルのコンテキスト埋め込みは'Mary break the __''という次の単語が潜在クラスのトークンで満たされる可能性が高いという事実を表している。
a) 中型、または、中型
b) 硬直,硬直.
c) inanimate nouns
共起統計が1ホットの間隔に崩壊し、異なる文脈で共有される次トークンを排除した場合、勾配降下はそのようなカテゴリー的意味構造をどうやって見つけるのか。
このテンションを調べるために、入力が潜在意味因子を持つが、異なる1ホットラベルにマッピングされる3つの合成制御された設定を同定する。
トレーニングの初期に意味幾何学が出現し,それを行うための明確な監督を受けていないにもかかわらず,共有属性によるクラスタ表現が現れることがわかった。
この構造は過渡的であり、十分なキャパシティと時間を持って、全ての表現が等しく分離された予測対称状態に達する。
本稿では, この位相遷移をグラム行列解析により検討し, 一般に使われている非制約特徴モデルに予備的な修正を加えて, 創発的意味幾何学を捉える。
関連論文リスト
- Does Syntax Matter? A Graph-Augmented Variational Topic Model for Computational Social Sciences [51.56484100374058]
本稿では、構文依存関係をトピック推論に組み込んだアーキテクチャである、構造的文脈確率的トピックモデル(SCPTM)を紹介する。
本研究では,レジスタ構造と談話構造が異なる4つのコーパスのトピックモデリング手法について検討した。
その結果, SCPTMのニューラルアーキテクチャは, 生成的ベースラインよりも文書・トピックアライメントが著しく向上していることが示唆された。
論文 参考訳（メタデータ） (2026-09-07T17:39:06Z) - Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。
潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。
これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
論文 参考訳（メタデータ） (2026-05-26T22:16:42Z) - Feature Lottery? A Bifurcation Theory of Concept Emergence [0.0]
構造物の開始は、ロス・ヘッセンによって駆動される超臨界ピッチフォーク分岐に対応することを示す。
この座標によって予測される4つの異なる遷移規則を、多様な設定で実証的に検証する。
我々はこれをSAEトレーニングの「機能宝くじ」と呼び、特徴の終端解釈可能性が驚くほど早く予測可能となる。
論文 参考訳（メタデータ） (2026-05-22T02:08:49Z) - Semantic Shift: the Fundamental Challenge in Text Embedding and Retrieval [39.73839943827917]
トランスフォーマーベースの埋め込みモデルは、可変長のテキストを単一のベクトルにマッピングするプーリングに依存している。
因果関係の欠如は、本質的な、構造的な進化と、テキスト内の意味論の分散である。
論文 参考訳（メタデータ） (2026-03-22T22:58:11Z) - Geometry of Semantics in Next-Token Prediction: How Optimization Implicitly Organizes Linguistic Representations [34.88156871518115]
Next-token Prediction (NTP) 最適化により、言語モデルがテキストから意味構造を抽出し、整理する。
我々は、より大きな特異値に対応する概念が訓練中に学習され、自然な意味階層が生成されることを示した。
この洞察は、解釈可能なセマンティックカテゴリを識別するための概念記号を組み合わせる方法である、オーサントベースのクラスタリングを動機付けている。
論文 参考訳（メタデータ） (2025-05-13T08:46:04Z) - Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。
本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。
提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
論文 参考訳（メタデータ） (2025-03-20T17:59:59Z) - Human-in-the-loop: Towards Label Embeddings for Measuring Classification Difficulty [14.452983136429967]
教師付き学習では、トレーニングプロセスの第1段階、つまりアノテーションフェーズにおいて、すでに不確実性が発生する可能性がある。
この研究の主な考え方は、基礎となる真理ラベルの仮定を捨て、代わりにアノテーションを多次元空間に埋め込むことである。
本稿では,複数のアノテータが独立してインスタンスをラベル付けする,様々な状況に展開する手法を提案する。
論文 参考訳（メタデータ） (2023-11-15T11:23:15Z) - Robustness of the Random Language Model [0.0]
このモデルは、潜在的言語の広大な空間におけるアニーリングの一種として、最初の言語学習の簡単な図を示唆している。
これは、潜在的な単語とカテゴリ間の対称性が自発的に壊れる文法構文への単一の連続的な遷移を意味する。
結果は、言語学における第一言語習得の理論と、機械学習における最近の成功を踏まえて議論される。
論文 参考訳（メタデータ） (2023-09-26T13:14:35Z) - A Multi-Grained Self-Interpretable Symbolic-Neural Model For
Single/Multi-Labeled Text Classification [29.075766631810595]
本稿では,テキストのクラスラベルを選挙区木から明示的に予測するシンボリック・ニューラルモデルを提案する。
構造化言語モデルが自己教師型で選挙区木を予測することを学ぶと、訓練データとして、原文と文レベルのラベルしか必要としない。
実験により,下流タスクにおける予測精度が向上できることが実証された。
論文 参考訳（メタデータ） (2023-03-06T03:25:43Z) - Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。
機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。
我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
論文 参考訳（メタデータ） (2023-01-03T13:51:51Z) - Unsupervised Distillation of Syntactic Information from Contextualized
Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。
この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。
我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文 参考訳（メタデータ） (2020-10-11T15:13:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。