論文の概要: On the Geometry of Semantics in Next-token Prediction

• arxiv url: http://arxiv.org/abs/2505.08348v1
• Date: Tue, 13 May 2025 08:46:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.490047
• Title: On the Geometry of Semantics in Next-token Prediction
• Title（参考訳）: 次世代予測における意味論の幾何学について
• Authors: Yize Zhao, Christos Thrampoulidis,
• Abstract要約: 現代の言語モデルは、次世代の予測によってのみ訓練されているにもかかわらず、言語的な意味を捉えている。 本研究では,この概念的にシンプルな学習目標が,潜在意味概念と文法概念を抽出し,符号化するモデルにどのように寄与するかを検討する。 我々の研究は、分布意味論、神経崩壊幾何学、ニューラルネットワークトレーニングのダイナミクスを橋渡しし、NTPの暗黙のバイアスがどのように言語モデルにおける意味表現の出現を形作るかについての洞察を提供する。
• 参考スコア（独自算出の注目度）: 27.33243506775655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models demonstrate a remarkable ability to capture linguistic meaning despite being trained solely through next-token prediction (NTP). We investigate how this conceptually simple training objective leads models to extract and encode latent semantic and grammatical concepts. Our analysis reveals that NTP optimization implicitly guides models to encode concepts via singular value decomposition (SVD) factors of a centered data-sparsity matrix that captures next-word co-occurrence patterns. While the model never explicitly constructs this matrix, learned word and context embeddings effectively factor it to capture linguistic structure. We find that the most important SVD factors are learned first during training, motivating the use of spectral clustering of embeddings to identify human-interpretable semantics, including both classical k-means and a new orthant-based method directly motivated by our interpretation of concepts. Overall, our work bridges distributional semantics, neural collapse geometry, and neural network training dynamics, providing insights into how NTP's implicit biases shape the emergence of meaning representations in language models.
• Abstract（参考訳）: 現代の言語モデルは、NTP(Next-token Prediction)によってのみ訓練されているにもかかわらず、言語的意味を捉える驚くべき能力を示している。 本研究では,この概念的にシンプルな学習目標が,潜在意味概念と文法概念を抽出し,符号化するモデルにどのように寄与するかを検討する。 解析の結果,NTP最適化は,次の単語共起パターンをキャプチャする集中型データスパーシティ行列の特異値分解(SVD)因子を介して,モデルを暗黙的に符号化することがわかった。 モデルは、この行列を明示的に構成することはないが、学習された単語と文脈の埋め込みは、言語構造を捉えるために効果的にそれを分解する。 SVDの最も重要な要素は、まずトレーニング中に学習され、古典的なk-meansと、私たちの概念の解釈によって直接動機づけられた新しいオルサントベースの手法の両方を含む、人間の解釈可能な意味を識別するために、埋め込みのスペクトルクラスタリングの使用が動機付けられる。 全体として、我々の研究は、分散意味論、神経崩壊幾何学、ニューラルネットワークトレーニングのダイナミクスを橋渡しし、NTPの暗黙のバイアスがどのように言語モデルにおける意味表現の出現を形作るかについての洞察を提供する。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [54.73787666584143]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 本稿では,ラベルの可利用性と次元性に基づいて,これら新たな実体を抽出する3つの手法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning [31.632816425798108]
  トークン化は多くの言語モデルの現在のアーキテクチャにおいて必要なコンポーネントである。 トークンと事前学習がバイアスやその他の望ましくないコンテンツのバックドアとして機能するかについて議論する。 トークン化アルゴリズムの目的関数が大規模言語モデルの認知に影響を及ぼす証拠を中継する。
  論文  参考訳（メタデータ） (2024-12-14T18:18:52Z)
• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Implicit Geometry of Next-token Prediction: From Language Sparsity Patterns to Model Representations [24.211603400355756]
  大規模テキストコーパス上でのNTP(Next-token Prediction)は,大規模言語モデルの学習のパラダイムとなっている。 得られたモデル表現の幾何学的特性に対する言語パターンのマッピングにNTPがどう影響するかを考察する。 合成および小規模な実言語データセットについて,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-08-27T21:46:47Z)
• The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
  トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。 本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
  論文  参考訳（メタデータ） (2024-07-16T11:12:28Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
  事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。 解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。 我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
  論文  参考訳（メタデータ） (2023-05-19T09:26:02Z)
• Testing Pre-trained Language Models' Understanding of Distributivity via Causal Mediation Analysis [13.07356367140208]
  自然言語推論のための新しい診断データセットであるDistNLIを紹介する。 モデルの理解の範囲は、モデルのサイズと語彙のサイズと関連していることがわかった。
  論文  参考訳（メタデータ） (2022-09-11T00:33:28Z)
• Pretraining on Interactions for Learning Grounded Affordance Representations [22.290431852705662]
  我々はニューラルネットワークを訓練し、シミュレーションされた相互作用において物体の軌道を予測する。 我々のネットワークの潜在表現は、観測された価格と観測されていない価格の両方を区別していることが示される。 提案する手法は,従来の語彙表現の形式的意味概念と統合可能な言語学習の手法である。
  論文  参考訳（メタデータ） (2022-07-05T19:19:53Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。