Fugu-MT 論文翻訳(概要): Perspectives on Large Language Models: Polysemy, Stochasticity, Exponential Expressibility, and Unitary Attention

論文の概要: Perspectives on Large Language Models: Polysemy, Stochasticity, Exponential Expressibility, and Unitary Attention

arxiv url: http://arxiv.org/abs/2504.13824v4
Date: Tue, 30 Sep 2025 15:26:10 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-01 14:44:59.720889
Title: Perspectives on Large Language Models: Polysemy, Stochasticity, Exponential Expressibility, and Unitary Attention
Title（参考訳）: 大規模言語モデルの展望:多意味性、確率性、指数表現性、単項注意
Authors: Karl Svozil,
Abstract要約: 本稿では,Large Language Models(LLM)の基礎的側面について考察する。擬直交ベクトルを用いて空間次元の埋め込みによって意味的特徴の表現がどのように指数関数的にスケールするかを分析する。古典的機構のユニタリ拡張として量子アテンションを提案し,LLM処理をヒルベルト空間における可逆的量子様進化として再フレーミングする。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper explores foundational aspects of Large Language Models (LLMs). We analyze how the expressibility of semantic features scales exponentially with embedding space dimensions using quasi-orthogonal vectors. We contrast the dynamic, context-dependent embeddings of Transformer architectures, which resolve polysemy, with a static vector approach based on quantum contextuality. Stochasticity is framed as an essential feature for enabling creative output through probabilistic sampling. Finally, we propose quantum attention as a unitary extension of classical mechanisms, reframing LLM processing as reversible, quantum-like evolutions in Hilbert space.
Abstract（参考訳）: 本稿では,Large Language Models(LLM)の基礎的側面について考察する。準直交ベクトルを用いて空間次元の埋め込みによって意味的特徴の表現性がどのように指数関数的にスケールするかを解析する。我々は,ポリセミーを解くトランスフォーマーアーキテクチャの動的,文脈依存的な埋め込みと,量子的文脈性に基づく静的ベクトルアプローチとを対比する。確率性は確率的サンプリングによって創造的な出力を可能にする重要な特徴である。最後に、古典的機構のユニタリ拡張として量子アテンションを提案し、LLM処理をヒルベルト空間における可逆的量子様進化として再フレーミングする。

関連論文リスト

Domain Embeddings for Generating Complex Descriptions of Concepts in Italian Language [65.268245109828]
電子辞書から抽出した言語情報と語彙情報に富んだ分布意味資源を提案する。リソースは21のドメイン固有の行列と1つの包括的なマトリックスとグラフィカルユーザインタフェースから構成される。本モデルは,具体的概念知識に直接関連した行列を選択することにより,概念の意味的記述の推論を容易にする。
論文参考訳（メタデータ） (2024-02-26T15:04:35Z)
Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions [5.763375492057694]
本稿では、そのような構造を明示的に活用し、定義から単語埋め込みを導出するマルチリレーショナルモデルを提案する。経験的な分析は、フレームワークが望ましい構造的制約を課すのに役立つことを示している。実験により、ユークリッド語よりもハイパーボリック語の埋め込みの方が優れていることが示された。
論文参考訳（メタデータ） (2023-05-12T08:16:06Z)
Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。まず,幾何学的観点から構成構造を理解するための枠組みを提案する。次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
論文参考訳（メタデータ） (2023-02-28T08:11:56Z)
SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings [4.479834103607384]
単語埋め込みに解釈可能性を加えることは、テキスト表現における活発な研究の領域である。本稿では,従来のPOLARフレームワークを拡張したSensePOLARを提案する。
論文参考訳（メタデータ） (2023-01-11T20:25:53Z)
Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings [11.475144702935568]
各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
論文参考訳（メタデータ） (2022-08-20T12:27:25Z)
Compositional Temporal Grounding with Structured Variational Cross-Graph Correspondence Learning [92.07643510310766]
ビデオの時間的接地は、あるクエリ文に意味的に対応する1つのターゲットビデオセグメントをローカライズすることを目的としている。新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。出現した単語の新たな組み合わせによるクエリの一般化に失敗したことを実証的に見出した。本稿では,ビデオと言語を複数の階層構造に明示的に分解する多変分グラフ推論フレームワークを提案する。
論文参考訳（メタデータ） (2022-03-24T12:55:23Z)
On the Quantum-like Contextuality of Ambiguous Phrases [2.6381163133447836]
あいまいな句の組合せは、量子的文脈性のための層理論の枠組みでモデル化できることを示す。 CbD (Contextuality-by-Default) の枠組みを用いて、これらの確率的変異を探索し、CbD-contextuality も可能であることを示す。
論文参考訳（メタデータ） (2021-07-19T13:23:42Z)
SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
論文参考訳（メタデータ） (2020-12-30T15:38:26Z)
Topology of Word Embeddings: Singularities Reflect Polysemy [68.8204255655161]
本稿では,単語の意味の実際の数とよく相関する,永続的ホモロジーに基づく多意味性のトポロジカル尺度を提案する。本稿では,SemEval-2010における単語センスの誘導と曖昧さに対する単純なトポロジ的な解決法を提案する。
論文参考訳（メタデータ） (2020-11-18T17:21:51Z)
Dynamic Contextualized Word Embeddings [20.81930455526026]
言語的文脈と外言語的文脈の両方の関数として単語を表す動的文脈化単語埋め込みを導入する。事前訓練された言語モデル(PLM)に基づいて、動的文脈化された単語埋め込みは、時間と社会空間を協調的にモデル化する。 4つの英語データセットの質的および定量的分析により,潜在的な応用シナリオを強調した。
論文参考訳（メタデータ） (2020-10-23T22:02:40Z)
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文参考訳（メタデータ） (2020-10-11T15:13:18Z)
Context-theoretic Semantics for Natural Language: an Algebraic Framework [0.0]
本稿では,単語,句,文がすべてベクトルとして表現される自然言語意味論の枠組みを提案する。単語のベクトル表現は、体上の代数の要素とみなすことができる。
論文参考訳（メタデータ） (2020-09-22T13:31:37Z)
Word Rotator's Distance [50.67809662270474]
テキスト類似性を評価する上での鍵となる原則は、単語のアライメントを考慮した2つのテキスト間の意味的重複度を測定することである。単語ベクトルのノルムは単語の重要度によいプロキシであり、その角度は単語類似度によいプロキシであることを示す。本稿では,まず単語ベクトルをノルムと方向に分解し,アライメントに基づく類似性を計算する手法を提案する。
論文参考訳（メタデータ） (2020-04-30T17:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。