論文の概要: From Polysemy to Quantum Attention: Context, Randomness, and Hilbert Space Perspectives on Large Language Models

• arxiv url: http://arxiv.org/abs/2504.13824v3
• Date: Wed, 17 Sep 2025 20:57:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 15:20:14.337252
• Title: From Polysemy to Quantum Attention: Context, Randomness, and Hilbert Space Perspectives on Large Language Models
• Title（参考訳）: 多節語から量子的注意へ:大規模言語モデルにおける文脈・ランダム性・ヒルベルト空間的視点
• Authors: Karl Svozil,
• Abstract要約: 我々は,Large Language Models (LLMs) の研究において,言語あいまいさから量子インスパイアされたアーキテクチャへの概念的経路を辿る。 現代のトランスフォーマーネットワークは、動的、文脈依存的な埋め込みを通じて複数の単語の意味を解決し、これを量子文脈性に根ざした代替フレームワークと対比する。 量子アテンションの概念は、古典的アテンション機構の投機的拡張であり、その変換をユニタリに制限するものである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We trace a conceptual path from linguistic ambiguity to quantum-inspired architectures in the study of Large Language Models (LLMs). First, we examine polysemy and show how modern transformer networks resolve multiple word meanings through dynamic, context-dependent embeddings, contrasting this with an alternative framework rooted in quantum contextuality. Next, we consider stochasticity not as a flaw but as a central design principle: randomness in sampling provides the mechanism by which LLMs generate diverse, creative outputs and explore their own representational landscape. Finally, we introduce the notion of quantum attention, a speculative extension of the classical attention mechanism that constrains its transformations to be unitary. This shift reframes attention as a reversible rotation in Hilbert space rather than a dissipative mixture, aligning the processing of meaning in language models with fundamental structures of quantum theory.
• Abstract（参考訳）: 我々は,Large Language Models (LLMs) の研究において,言語あいまいさから量子インスパイアされたアーキテクチャへの概念的経路を辿った。 まず,現代トランスフォーマーネットワークが動的,文脈依存的な埋め込みを通じて複数の単語の意味をどう解決するかを,量子的文脈性に根ざした代替フレームワークと対比する。 次に、確率性は欠陥ではなく、中心的な設計原理であると考えている。サンプリングにおけるランダム性は、LCMが多様で創造的な出力を生成し、それぞれの表現的景観を探索するメカニズムを提供する。 最後に、量子アテンション(quantum attention)の概念を導入する。これは、その変換をユニタリに制限する古典的アテンション機構の投機的拡張である。 このシフトは、散逸混合ではなくヒルベルト空間における可逆回転として注意を向け、言語モデルにおける意味の処理を量子論の基本構造と整合させる。

関連論文リスト

• Domain Embeddings for Generating Complex Descriptions of Concepts in Italian Language [65.268245109828]
  電子辞書から抽出した言語情報と語彙情報に富んだ分布意味資源を提案する。 リソースは21のドメイン固有の行列と1つの包括的なマトリックスとグラフィカルユーザインタフェースから構成される。 本モデルは,具体的概念知識に直接関連した行列を選択することにより,概念の意味的記述の推論を容易にする。
  論文  参考訳（メタデータ） (2024-02-26T15:04:35Z)
• Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions [5.763375492057694]
  本稿では、そのような構造を明示的に活用し、定義から単語埋め込みを導出するマルチリレーショナルモデルを提案する。 経験的な分析は、フレームワークが望ましい構造的制約を課すのに役立つことを示している。 実験により、ユークリッド語よりもハイパーボリック語の埋め込みの方が優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-12T08:16:06Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings [4.479834103607384]
  単語埋め込みに解釈可能性を加えることは、テキスト表現における活発な研究の領域である。 本稿では,従来のPOLARフレームワークを拡張したSensePOLARを提案する。
  論文  参考訳（メタデータ） (2023-01-11T20:25:53Z)
• Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings [11.475144702935568]
  各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。 単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
  論文  参考訳（メタデータ） (2022-08-20T12:27:25Z)
• Compositional Temporal Grounding with Structured Variational Cross-Graph Correspondence Learning [92.07643510310766]
  ビデオの時間的接地は、あるクエリ文に意味的に対応する1つのターゲットビデオセグメントをローカライズすることを目的としている。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 出現した単語の新たな組み合わせによるクエリの一般化に失敗したことを実証的に見出した。 本稿では,ビデオと言語を複数の階層構造に明示的に分解する多変分グラフ推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-24T12:55:23Z)
• On the Quantum-like Contextuality of Ambiguous Phrases [2.6381163133447836]
  あいまいな句の組合せは、量子的文脈性のための層理論の枠組みでモデル化できることを示す。 CbD (Contextuality-by-Default) の枠組みを用いて、これらの確率的変異を探索し、CbD-contextuality も可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-19T13:23:42Z)
• SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
  GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
  論文  参考訳（メタデータ） (2020-12-30T15:38:26Z)
• Topology of Word Embeddings: Singularities Reflect Polysemy [68.8204255655161]
  本稿では,単語の意味の実際の数とよく相関する,永続的ホモロジーに基づく多意味性のトポロジカル尺度を提案する。 本稿では,SemEval-2010における単語センスの誘導と曖昧さに対する単純なトポロジ的な解決法を提案する。
  論文  参考訳（メタデータ） (2020-11-18T17:21:51Z)
• Dynamic Contextualized Word Embeddings [20.81930455526026]
  言語的文脈と外言語的文脈の両方の関数として単語を表す動的文脈化単語埋め込みを導入する。 事前訓練された言語モデル(PLM)に基づいて、動的文脈化された単語埋め込みは、時間と社会空間を協調的にモデル化する。 4つの英語データセットの質的および定量的分析により,潜在的な応用シナリオを強調した。
  論文  参考訳（メタデータ） (2020-10-23T22:02:40Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Context-theoretic Semantics for Natural Language: an Algebraic Framework [0.0]
  本稿では,単語,句,文がすべてベクトルとして表現される自然言語意味論の枠組みを提案する。 単語のベクトル表現は、体上の代数の要素とみなすことができる。
  論文  参考訳（メタデータ） (2020-09-22T13:31:37Z)
• Word Rotator's Distance [50.67809662270474]
  テキスト類似性を評価する上での鍵となる原則は、単語のアライメントを考慮した2つのテキスト間の意味的重複度を測定することである。 単語ベクトルのノルムは単語の重要度によいプロキシであり、その角度は単語類似度によいプロキシであることを示す。 本稿では,まず単語ベクトルをノルムと方向に分解し,アライメントに基づく類似性を計算する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-30T17:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。