論文の概要: Discrete Semantic States and Hamiltonian Dynamics in LLM Embedding Spaces

• arxiv url: http://arxiv.org/abs/2601.11572v1
• Date: Mon, 29 Dec 2025 15:01:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.762825
• Title: Discrete Semantic States and Hamiltonian Dynamics in LLM Embedding Spaces
• Title（参考訳）: LLM埋め込み空間における離散意味状態とハミルトンダイナミクス
• Authors: Timo Aukusti Laine,
• Abstract要約: 数学的概念,特に線形代数とハミルトン形式を用いた大言語モデル埋め込み空間の構造について検討する。 LLM埋め込みが異なる状態を示すという観察に動機付けられ、これらの数学的ツールを用いて意味的関係を解析する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the structure of Large Language Model (LLM) embedding spaces using mathematical concepts, particularly linear algebra and the Hamiltonian formalism, drawing inspiration from analogies with quantum mechanical systems. Motivated by the observation that LLM embeddings exhibit distinct states, suggesting discrete semantic representations, we explore the application of these mathematical tools to analyze semantic relationships. We demonstrate that the L2 normalization constraint, a characteristic of many LLM architectures, results in a structured embedding space suitable for analysis using a Hamiltonian formalism. We derive relationships between cosine similarity and perturbations of embedding vectors, and explore direct and indirect semantic transitions. Furthermore, we explore a quantum-inspired perspective, deriving an analogue of zero-point energy and discussing potential connections to Koopman-von Neumann mechanics. While the interpretation warrants careful consideration, our results suggest that this approach offers a promising avenue for gaining deeper insights into LLMs and potentially informing new methods for mitigating hallucinations.
• Abstract（参考訳）: 数学的概念,特に線形代数とハミルトン形式を用いて,Large Language Model (LLM) 埋め込み空間の構造を考察し,量子力学系との類似から着想を得た。 LLM埋め込みは異なる状態を示し、個別の意味表現を示唆する観察によって動機付けられ、これらの数学的ツールを用いて意味的関係を解析する。 我々は、L2正規化制約が多くのLLMアーキテクチャの特徴であり、ハミルトン形式を用いた解析に適した構造的埋め込み空間をもたらすことを示した。 埋め込みベクトルのコサイン類似性と摂動の関係を導出し、直接的および間接的意味遷移を探求する。 さらに、ゼロ点エネルギーのアナログを導出し、クープマン・ヴォン・ノイマン力学との潜在的な関係を議論する量子インスピレーションされた視点を探求する。 本研究の結果から,LSMの理解を深め,幻覚を緩和する新たな方法が提案される可能性が示唆された。

関連論文リスト

• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Semantic Wave Functions: Exploring Meaning in Large Language Models Through Quantum Formalism [0.0]
  大規模言語モデル(LLM)は、高次元ベクトル埋め込みにおける意味関係を符号化する。 本稿では,LLM埋め込み空間と量子力学の類似性について検討する。 この量子派生表現を形式化する「意味的波動関数」を導入する。
  論文  参考訳（メタデータ） (2025-03-09T08:23:31Z)
• LogiDynamics: Unraveling the Dynamics of Inductive, Abductive and Deductive Logical Inferences in LLM Reasoning [74.0242521818214]
  本稿では,大言語モデル(LLM)におけるインダクティブ(システム1)と帰納的/帰納的(システム2)の推論の比較力学を体系的に検討する。 我々は、制御されたアナログ推論環境、多様度(テキスト、視覚、記号)、難易度、タスク形式(MCQ/フリーテキスト)を利用する。 我々の分析によると、System 2のパイプラインは一般的に、特に視覚的/象徴的なモダリティや難しいタスクにおいて優れており、System 1はテキストやより簡単な問題に対して競争力がある。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
  コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。 しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。 語彙定義意味論(vocabulary-defined semantics)を提案する。
  論文  参考訳（メタデータ） (2024-01-29T14:29:48Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• A Free Lunch from the Noise: Provable and Practical Exploration for Representation Learning [55.048010996144036]
  ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。 本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
  論文  参考訳（メタデータ） (2021-11-22T19:24:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。