論文の概要: Semantic Wave Functions: Exploring Meaning in Large Language Models Through Quantum Formalism

• arxiv url: http://arxiv.org/abs/2503.10664v1
• Date: Sun, 09 Mar 2025 08:23:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 22:04:28.927462
• Title: Semantic Wave Functions: Exploring Meaning in Large Language Models Through Quantum Formalism
• Title（参考訳）: 意味的波動関数:量子形式主義による大規模言語モデルにおける意味探索
• Authors: Timo Aukusti Laine,
• Abstract要約: 大規模言語モデル(LLM)は、高次元ベクトル埋め込みにおける意味関係を符号化する。 本稿では,LLM埋め込み空間と量子力学の類似性について検討する。 この量子派生表現を形式化する「意味的波動関数」を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) encode semantic relationships in high-dimensional vector embeddings. This paper explores the analogy between LLM embedding spaces and quantum mechanics, positing that LLMs operate within a quantized semantic space where words and phrases behave as quantum states. To capture nuanced semantic interference effects, we extend the standard real-valued embedding space to the complex domain, drawing parallels to the double-slit experiment. We introduce a "semantic wave function" to formalize this quantum-derived representation and utilize potential landscapes, such as the double-well potential, to model semantic ambiguity. Furthermore, we propose a complex-valued similarity measure that incorporates both magnitude and phase information, enabling a more sensitive comparison of semantic representations. We develop a path integral formalism, based on a nonlinear Schr\"odinger equation with a gauge field and Mexican hat potential, to model the dynamic evolution of LLM behavior. This interdisciplinary approach offers a new theoretical framework for understanding and potentially manipulating LLMs, with the goal of advancing both artificial and natural language understanding.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、高次元ベクトル埋め込みにおける意味関係を符号化する。 本稿では,LLMの埋め込み空間と量子力学の類似性を考察し,LLMが量子状態として振る舞う量子化された意味空間内で機能することを示す。 ニュアンス付きセマンティック干渉効果を捉えるため、標準的な実数値埋め込み空間を複素領域に拡張し、二重スリット実験と平行に描画する。 この量子から導かれる表現を形式化し、二重井戸ポテンシャルのような潜在的景観を利用して意味的曖昧さをモデル化する「意味的波動関数」を導入する。 さらに,重大情報と位相情報の両方を組み込んだ複素値類似度尺度を提案し,意味表現のより敏感な比較を可能にする。 我々は、ゲージ場とメキシコのハットポテンシャルを持つ非線形シュリンガー方程式に基づいて、LLMの挙動の動的進化をモデル化する経路積分形式論を開発する。 この学際的アプローチは、LLMの理解と潜在的操作のための新しい理論的枠組みを提供し、人工言語と自然言語の両方の理解を促進することを目的としている。

関連論文リスト

• Modular Machine Learning: An Indispensable Path towards New-Generation Large Language Models [45.05285463251872]
  我々は,新世代の大規模言語モデル(LLM)に不可欠なアプローチとして,新しい学習パラダイム - Modular Machine Learning (MML) を導入する。 MMLは、LLMの複雑な構造を、モジュラー表現、モジュラーモデル、モジュラー推論の3つの相互依存コンポーネントに分解する。 本稿では,非絡み合い表現学習,ニューラルアーキテクチャ探索,ニューロシンボリック学習などの高度な技術を活用して,MLに基づくLLMの実現の可能性を示す。
  論文  参考訳（メタデータ） (2025-04-28T17:42:02Z)
• The Quantum LLM: Modeling Semantic Spaces with Quantum Principles [0.0]
  前回の記事では,Large Language Models (LLMs) における意味表現と処理をモデル化するための量子インスパイアされたフレームワークについて紹介した。 本稿では, LLMにおける意味表現, 相互作用, ダイナミクスを規定する6つの重要な原則を詳細に解説し, 本モデルの中核的な仮定を明らかにする。
  論文  参考訳（メタデータ） (2025-04-13T15:49:41Z)
• Bridging the Dimensional Chasm: Uncover Layer-wise Dimensional Reduction in Transformers through Token Correlation [2.5976894391099625]
  トランスフォーマー層間のトークンダイナミクスを追跡するフレームワークを開発した。 この研究はトランスフォーマー層を高次元と低次元のセマンティクスの間のプロジェクタとして再フレーミングすることで解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2025-03-28T15:47:30Z)
• Computation Mechanism Behind LLM Position Generalization [59.013857707250814]
  大規模言語モデル(LLM)は、テキストの位置を扱う際の柔軟性を示す。 彼らは位置摂動のあるテキストを理解し、より長いテキストに一般化することができる。 この研究は言語現象とLLMの計算機構を結びつける。
  論文  参考訳（メタデータ） (2025-03-17T15:47:37Z)
• Toward a Flexible Framework for Linear Representation Hypothesis Using Maximum Likelihood Estimation [3.515066520628763]
  正規表現空間において、単位ベクトルとして二項の概念を新たに導入する。 我々の方法である Sum of Activation-base Normalized difference (SAND) は、von Mises-Fisher 分布のサンプルとしてモデル化されたアクティベーション差の利用を形式化する。
  論文  参考訳（メタデータ） (2025-02-22T23:56:30Z)
• Provably Transformers Harness Multi-Concept Word Semantics for Efficient In-Context Learning [53.685764040547625]
  トランスフォーマーベースの大規模言語モデル(LLM)は、卓越した創造力と出現能力を示している。 この研究は、トランスフォーマーが単語のマルチコンセプトセマンティクスをどのように活用し、強力なICLと優れたアウト・オブ・ディストリビューションICL能力を実現するかを示すための数学的解析を提供する。
  論文  参考訳（メタデータ） (2024-11-04T15:54:32Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
  コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。 しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。 語彙定義意味論(vocabulary-defined semantics)を提案する。
  論文  参考訳（メタデータ） (2024-01-29T14:29:48Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)
• Method of spectral Green functions in driven open quantum dynamics [77.34726150561087]
  オープン量子力学のシミュレーションのために,スペクトルグリーン関数に基づく新しい手法を提案する。 この形式主義は、場の量子論におけるグリーン関数の使用と顕著な類似性を示している。 本手法は,完全マスター方程式の解法に基づくシミュレーションと比較して計算コストを劇的に削減する。
  論文  参考訳（メタデータ） (2020-06-04T09:41:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。