Fugu-MT 論文翻訳(概要): Context, Stochasticity, and Meaning in Large Language Models

論文の概要: Context, Stochasticity, and Meaning in Large Language Models

arxiv url: http://arxiv.org/abs/2504.13824v2
Date: Wed, 10 Sep 2025 14:43:19 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-11 15:16:52.067785
Title: Context, Stochasticity, and Meaning in Large Language Models
Title（参考訳）: 大規模言語モデルにおける文脈・確率・意味
Authors: Karl Svozil,
Abstract要約: 動的にコンテキストを意識したベクトル埋め込みにより,ポリセミズムの分解能を解析し,これを意味的コンテキストの量子化フレームワークと対比する。次に、生成過程における意図的役割について検討し、創造的かつ多様なアウトプットのコアメカニズムとして同定する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We analyze the resolution of polysemy through dynamic, context-aware vector embeddings, contrasting this with a quantum-inspired framework for semantic context. We then investigate the intentional role of stochasticity in the generative process, identifying it as the core mechanism for creative and varied outputs. Finally, we explore the compelling analogy between the model's reliance on vector-space projections and the formalisms of quantum mechanics. These principles are presented within the complete training context - from pre-training to reinforcement learning - to provide a cohesive understanding of both the construction and the intrinsic behavior of these models.
Abstract（参考訳）: 動的にコンテキストを意識したベクトル埋め込みにより,ポリセミズムの分解能を解析し,これを意味的コンテキストの量子化フレームワークと対比する。次に、生成過程における確率性の意図的役割を考察し、創造的かつ多様な出力のコアメカニズムとして同定する。最後に、ベクトル空間射影への依存と量子力学の定式化の間の説得力のある類似性について検討する。これらの原則は、事前学習から強化学習まで、完全なトレーニングコンテキスト内に示され、これらのモデルの構築と本質的な振る舞いの両方を密着した理解を提供する。

関連論文リスト

Domain Embeddings for Generating Complex Descriptions of Concepts in Italian Language [65.268245109828]
電子辞書から抽出した言語情報と語彙情報に富んだ分布意味資源を提案する。リソースは21のドメイン固有の行列と1つの包括的なマトリックスとグラフィカルユーザインタフェースから構成される。本モデルは,具体的概念知識に直接関連した行列を選択することにより,概念の意味的記述の推論を容易にする。
論文参考訳（メタデータ） (2024-02-26T15:04:35Z)
Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions [5.763375492057694]
本稿では、そのような構造を明示的に活用し、定義から単語埋め込みを導出するマルチリレーショナルモデルを提案する。経験的な分析は、フレームワークが望ましい構造的制約を課すのに役立つことを示している。実験により、ユークリッド語よりもハイパーボリック語の埋め込みの方が優れていることが示された。
論文参考訳（メタデータ） (2023-05-12T08:16:06Z)
Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。まず,幾何学的観点から構成構造を理解するための枠組みを提案する。次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
論文参考訳（メタデータ） (2023-02-28T08:11:56Z)
SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings [4.479834103607384]
単語埋め込みに解釈可能性を加えることは、テキスト表現における活発な研究の領域である。本稿では,従来のPOLARフレームワークを拡張したSensePOLARを提案する。
論文参考訳（メタデータ） (2023-01-11T20:25:53Z)
Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings [11.475144702935568]
各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
論文参考訳（メタデータ） (2022-08-20T12:27:25Z)
Compositional Temporal Grounding with Structured Variational Cross-Graph Correspondence Learning [92.07643510310766]
ビデオの時間的接地は、あるクエリ文に意味的に対応する1つのターゲットビデオセグメントをローカライズすることを目的としている。新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。出現した単語の新たな組み合わせによるクエリの一般化に失敗したことを実証的に見出した。本稿では,ビデオと言語を複数の階層構造に明示的に分解する多変分グラフ推論フレームワークを提案する。
論文参考訳（メタデータ） (2022-03-24T12:55:23Z)
On the Quantum-like Contextuality of Ambiguous Phrases [2.6381163133447836]
あいまいな句の組合せは、量子的文脈性のための層理論の枠組みでモデル化できることを示す。 CbD (Contextuality-by-Default) の枠組みを用いて、これらの確率的変異を探索し、CbD-contextuality も可能であることを示す。
論文参考訳（メタデータ） (2021-07-19T13:23:42Z)
SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
論文参考訳（メタデータ） (2020-12-30T15:38:26Z)
Topology of Word Embeddings: Singularities Reflect Polysemy [68.8204255655161]
本稿では,単語の意味の実際の数とよく相関する,永続的ホモロジーに基づく多意味性のトポロジカル尺度を提案する。本稿では,SemEval-2010における単語センスの誘導と曖昧さに対する単純なトポロジ的な解決法を提案する。
論文参考訳（メタデータ） (2020-11-18T17:21:51Z)
Dynamic Contextualized Word Embeddings [20.81930455526026]
言語的文脈と外言語的文脈の両方の関数として単語を表す動的文脈化単語埋め込みを導入する。事前訓練された言語モデル(PLM)に基づいて、動的文脈化された単語埋め込みは、時間と社会空間を協調的にモデル化する。 4つの英語データセットの質的および定量的分析により,潜在的な応用シナリオを強調した。
論文参考訳（メタデータ） (2020-10-23T22:02:40Z)
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文参考訳（メタデータ） (2020-10-11T15:13:18Z)
Context-theoretic Semantics for Natural Language: an Algebraic Framework [0.0]
本稿では,単語,句,文がすべてベクトルとして表現される自然言語意味論の枠組みを提案する。単語のベクトル表現は、体上の代数の要素とみなすことができる。
論文参考訳（メタデータ） (2020-09-22T13:31:37Z)
Word Rotator's Distance [50.67809662270474]
テキスト類似性を評価する上での鍵となる原則は、単語のアライメントを考慮した2つのテキスト間の意味的重複度を測定することである。単語ベクトルのノルムは単語の重要度によいプロキシであり、その角度は単語類似度によいプロキシであることを示す。本稿では,まず単語ベクトルをノルムと方向に分解し,アライメントに基づく類似性を計算する手法を提案する。
論文参考訳（メタデータ） (2020-04-30T17:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。