論文の概要: From Polysemy to Quantum Attention: Context, Randomness, and Hilbert Space Perspectives on Large Language Models

• arxiv url: http://arxiv.org/abs/2504.13824v3
• Date: Wed, 17 Sep 2025 20:57:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 15:20:14.337252
• Title: From Polysemy to Quantum Attention: Context, Randomness, and Hilbert Space Perspectives on Large Language Models
• Title（参考訳）: 多節語から量子的注意へ:大規模言語モデルにおける文脈・ランダム性・ヒルベルト空間的視点
• Authors: Karl Svozil,
• Abstract要約: 我々は,Large Language Models (LLMs) の研究において,言語あいまいさから量子インスパイアされたアーキテクチャへの概念的経路を辿る。 現代のトランスフォーマーネットワークは、動的、文脈依存的な埋め込みを通じて複数の単語の意味を解決し、これを量子文脈性に根ざした代替フレームワークと対比する。 量子アテンションの概念は、古典的アテンション機構の投機的拡張であり、その変換をユニタリに制限するものである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We trace a conceptual path from linguistic ambiguity to quantum-inspired architectures in the study of Large Language Models (LLMs). First, we examine polysemy and show how modern transformer networks resolve multiple word meanings through dynamic, context-dependent embeddings, contrasting this with an alternative framework rooted in quantum contextuality. Next, we consider stochasticity not as a flaw but as a central design principle: randomness in sampling provides the mechanism by which LLMs generate diverse, creative outputs and explore their own representational landscape. Finally, we introduce the notion of quantum attention, a speculative extension of the classical attention mechanism that constrains its transformations to be unitary. This shift reframes attention as a reversible rotation in Hilbert space rather than a dissipative mixture, aligning the processing of meaning in language models with fundamental structures of quantum theory.
• Abstract（参考訳）: 我々は,Large Language Models (LLMs) の研究において,言語あいまいさから量子インスパイアされたアーキテクチャへの概念的経路を辿った。 まず,現代トランスフォーマーネットワークが動的,文脈依存的な埋め込みを通じて複数の単語の意味をどう解決するかを,量子的文脈性に根ざした代替フレームワークと対比する。 次に、確率性は欠陥ではなく、中心的な設計原理であると考えている。サンプリングにおけるランダム性は、LCMが多様で創造的な出力を生成し、それぞれの表現的景観を探索するメカニズムを提供する。 最後に、量子アテンション(quantum attention)の概念を導入する。これは、その変換をユニタリに制限する古典的アテンション機構の投機的拡張である。 このシフトは、散逸混合ではなくヒルベルト空間における可逆回転として注意を向け、言語モデルにおける意味の処理を量子論の基本構造と整合させる。

関連論文リスト

• Discrete Semantic States and Hamiltonian Dynamics in LLM Embedding Spaces [0.0]
  数学的概念,特に線形代数とハミルトン形式を用いた大言語モデル埋め込み空間の構造について検討する。 LLM埋め込みが異なる状態を示すという観察に動機付けられ、これらの数学的ツールを用いて意味的関係を解析する。
  論文  参考訳（メタデータ） (2025-12-29T15:01:43Z)
• Quantum LLMs Using Quantum Computing to Analyze and Process Semantic Information [0.0]
  本稿では,大規模言語モデルの埋め込みを解析するための量子コンピューティング手法を提案する。 我々は、量子力学原理を用いた複雑な値表現と意味関係のモデル化を利用する。
  論文  参考訳（メタデータ） (2025-12-02T10:28:05Z)
• A Free Probabilistic Framework for Analyzing the Transformer-based Language Models [19.78896931593813]
  本稿では,自由確率理論を用いたトランスフォーマーに基づく言語モデル解析のための形式的演算子理論フレームワークを提案する。 この研究は、理論上は大きな言語モデルにおける構造力学に関する原則的視点を提供する。
  論文  参考訳（メタデータ） (2025-06-19T19:13:02Z)
• The Origins of Representation Manifolds in Large Language Models [52.68554895844062]
  表現空間におけるコサイン類似性は、最短のオンマンフォールド経路を通して特徴の内在幾何学を符号化することができることを示す。 理論の臨界仮定と予測は、大きな言語モデルのテキスト埋め込みとトークンアクティベーションに基づいて検証される。
  論文  参考訳（メタデータ） (2025-05-23T13:31:22Z)
• Domain Embeddings for Generating Complex Descriptions of Concepts in Italian Language [65.268245109828]
  電子辞書から抽出した言語情報と語彙情報に富んだ分布意味資源を提案する。 リソースは21のドメイン固有の行列と1つの包括的なマトリックスとグラフィカルユーザインタフェースから構成される。 本モデルは,具体的概念知識に直接関連した行列を選択することにより,概念の意味的記述の推論を容易にする。
  論文  参考訳（メタデータ） (2024-02-26T15:04:35Z)
• The Quantum Monadology [0.0]
  関数型プログラミング言語の現代の理論は、計算サイドエフェクトとサイドコンテキストを符号化するためにモナドを使用する。 我々はGrothendieckの「操作のモチベーションヨガ」によって誘導されるパラメータ化モジュールスペクトルのカテゴリ上での(co)モナドの分析を行う。 本稿では、これらのモナディック量子効果を透明なdo-notationで表現したドメイン固有量子プログラミング言語(QS)を示す。
  論文  参考訳（メタデータ） (2023-10-24T11:19:24Z)
• Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions [5.763375492057694]
  本稿では、そのような構造を明示的に活用し、定義から単語埋め込みを導出するマルチリレーショナルモデルを提案する。 経験的な分析は、フレームワークが望ましい構造的制約を課すのに役立つことを示している。 実験により、ユークリッド語よりもハイパーボリック語の埋め込みの方が優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-12T08:16:06Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings [4.479834103607384]
  単語埋め込みに解釈可能性を加えることは、テキスト表現における活発な研究の領域である。 本稿では,従来のPOLARフレームワークを拡張したSensePOLARを提案する。
  論文  参考訳（メタデータ） (2023-01-11T20:25:53Z)
• The Quantum Path Kernel: a Generalized Quantum Neural Tangent Kernel for Deep Quantum Machine Learning [52.77024349608834]
  古典的なディープニューラルネットワークの量子アナログを構築することは、量子コンピューティングにおける根本的な課題である。 鍵となる問題は、古典的なディープラーニングの本質的な非線形性にどのように対処するかである。 我々は、深層機械学習のこれらの側面を複製できる量子機械学習の定式化であるQuantum Path Kernelを紹介する。
  論文  参考訳（メタデータ） (2022-12-22T16:06:24Z)
• Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings [11.475144702935568]
  各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。 単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
  論文  参考訳（メタデータ） (2022-08-20T12:27:25Z)
• PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
  部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。 我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。 我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-07-12T17:57:17Z)
• Compositional Temporal Grounding with Structured Variational Cross-Graph Correspondence Learning [92.07643510310766]
  ビデオの時間的接地は、あるクエリ文に意味的に対応する1つのターゲットビデオセグメントをローカライズすることを目的としている。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 出現した単語の新たな組み合わせによるクエリの一般化に失敗したことを実証的に見出した。 本稿では,ビデオと言語を複数の階層構造に明示的に分解する多変分グラフ推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-24T12:55:23Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• On the Quantum-like Contextuality of Ambiguous Phrases [2.6381163133447836]
  あいまいな句の組合せは、量子的文脈性のための層理論の枠組みでモデル化できることを示す。 CbD (Contextuality-by-Default) の枠組みを用いて、これらの確率的変異を探索し、CbD-contextuality も可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-19T13:23:42Z)
• SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
  GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
  論文  参考訳（メタデータ） (2020-12-30T15:38:26Z)
• Topology of Word Embeddings: Singularities Reflect Polysemy [68.8204255655161]
  本稿では,単語の意味の実際の数とよく相関する,永続的ホモロジーに基づく多意味性のトポロジカル尺度を提案する。 本稿では,SemEval-2010における単語センスの誘導と曖昧さに対する単純なトポロジ的な解決法を提案する。
  論文  参考訳（メタデータ） (2020-11-18T17:21:51Z)
• Dynamic Contextualized Word Embeddings [20.81930455526026]
  言語的文脈と外言語的文脈の両方の関数として単語を表す動的文脈化単語埋め込みを導入する。 事前訓練された言語モデル(PLM)に基づいて、動的文脈化された単語埋め込みは、時間と社会空間を協調的にモデル化する。 4つの英語データセットの質的および定量的分析により,潜在的な応用シナリオを強調した。
  論文  参考訳（メタデータ） (2020-10-23T22:02:40Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Context-theoretic Semantics for Natural Language: an Algebraic Framework [0.0]
  本稿では,単語,句,文がすべてベクトルとして表現される自然言語意味論の枠組みを提案する。 単語のベクトル表現は、体上の代数の要素とみなすことができる。
  論文  参考訳（メタデータ） (2020-09-22T13:31:37Z)
• Autoregressive Transformer Neural Network for Simulating Open Quantum Systems via a Probabilistic Formulation [5.668795025564699]
  オープン量子システムのダイナミクスに対処するためのアプローチを提案する。 自己回帰変換ニューラルネットワークを用いて量子状態をコンパクトに表現する。 効率的なアルゴリズムは、リウヴィリア超作用素の力学をシミュレートするために開発された。
  論文  参考訳（メタデータ） (2020-09-11T18:00:00Z)
• Nonlinear ISA with Auxiliary Variables for Learning Speech Representations [51.9516685516144]
  補助変数の存在下では非線型独立部分空間解析(ISA)の理論的枠組みを導入する。 部分空間が独立な教師なし音声表現を学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-25T14:53:09Z)
• Word Rotator's Distance [50.67809662270474]
  テキスト類似性を評価する上での鍵となる原則は、単語のアライメントを考慮した2つのテキスト間の意味的重複度を測定することである。 単語ベクトルのノルムは単語の重要度によいプロキシであり、その角度は単語類似度によいプロキシであることを示す。 本稿では,まず単語ベクトルをノルムと方向に分解し,アライメントに基づく類似性を計算する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-30T17:48:42Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。