論文の概要: Contextual trajectory and incremental contextual displacement: Towards using LLMs to understand dynamic, utterance-specific meaning construction
- arxiv url: http://arxiv.org/abs/2610.00840v1
- Date: Wed, 30 Sep 2026 23:56:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.810724
- Title: Contextual trajectory and incremental contextual displacement: Towards using LLMs to understand dynamic, utterance-specific meaning construction
- Title（参考訳）: 文脈軌跡と漸進的文脈変位:LLMを用いた動的・発話固有の意味構築の理解に向けて
- Abstract要約: Transformer-based large language model (LLMs) は文脈単語埋め込み (CWEs) を用いてテキストを表現する。
我々は、連続した単語が文に追加されるときに、トークンのCWEを繰り返し再計算することで、トークン単位のインクリメンタルな軌跡を構築する。
また,文レベルのCRS表現だけでなく,通常の語彙トークンからも曖昧性関連情報が復元可能であることがわかった。
- 参考スコア（独自算出の注目度）: 0.061386715480643554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer-based large language models (LLMs) such as RoBERTa represent text using contextual word embeddings (CWEs), which alter the embeddings associated with each token based on surrounding context. We construct token-wise incremental trajectories by repeatedly recomputing a token's CWE as successive words are added to a sentence, yielding a representation of how contextualized embeddings evolve as the utterance unfolds. We evaluate this approach using garden-path sentences as a test case with characteristic features. Token-wise trajectories reproduce known features of garden-path processing, including disruption around the critical region, and reliably distinguish garden-path sentences from matched disambiguated controls. We introduce several metrics for quantifying representational displacement across contextual increments and show that trajectory information can be highly predictive of sentence type. We find that ambiguity-related information is recoverable not only from the sentence-level CLS representation but also from ordinary vocabulary tokens, suggesting that utterance-level information is distributed across multiple representational scales. In exploratory analyses, we find qualitatively similar trajectory structures in other ambiguity- and misdirection-related linguistic phenomena. Together, these results establish token-wise incremental trajectories as a promising framework for studying utterance-specific meaning construction using LLMs.
- Abstract（参考訳）: RoBERTaのようなトランスフォーマーベースの大言語モデル(LLM)は、コンテキストワード埋め込み(CWE)を使用してテキストを表現し、周囲のコンテキストに基づいて各トークンに関連付けられた埋め込みを変更する。
トークンのCWEを連続した単語を追加して繰り返し再計算してトークン単位の漸進的軌跡を構築することにより,発話が展開するにつれて,文脈的埋め込みがどのように進化するかを表現する。
本手法は,特徴のあるテストケースとして庭道文を用いて評価する。
気道軌道は、臨界領域を乱すなど、庭道処理の既知の特徴を再現し、庭道文と整合した曖昧な制御とを確実に区別する。
文脈的インクリメントにおける表現の変位を定量化するための指標をいくつか導入し, トラジェクトリ情報が文型を高い精度で予測可能であることを示す。
文レベルのCRS表現だけでなく,通常の語彙トークンからもあいまいさ関連情報が復元可能であることが判明し,発話レベルの情報が複数の表現尺度に分散していることが示唆された。
探索分析では,他のあいまいさや誤った方向関連言語現象に,質的に類似した軌道構造が見つかる。
これらの結果は,LLMを用いた発話特化意味構築研究のための有望な枠組みとして,トークン単位の漸進軌道を確立する。
関連論文リスト
- What They Saw, Not Just Where They Looked: Semantic Scanpath Similarity via VLMs and NLP metric [50.699179933343686]
視覚言語モデルと視線追跡分析を統合した意味的スキャンパス類似性フレームワークを提案する。
意味的類似性は、埋め込みベースおよび語彙的NLPメトリクスを使用して計算される。
自由視眼球追跡データの実験では、意味的類似性は幾何学的アライメントから部分的に独立なばらつきを捉えていることが示されている。
論文 参考訳（メタデータ） (2026-04-09T17:36:22Z) - Speech Codec Probing from Semantic and Phonetic Perspectives [49.01048570474675]
音声トークン化器は,マルチモーダルシステムにおいて,音声を大言語モデル (LLM) に接続するために必須である。
新たな証拠は、音声表現において「意味」と呼ばれるものは、テキスト由来の意味論と一致しないことを示している。
論文 参考訳（メタデータ） (2026-03-11T03:32:25Z) - Ambiguity in LLMs is a concept missing problem [12.039364223570479]
自然言語における曖昧さは、構造化されたデータマッピングに対する正確なテキストを実現するための重要な障害である。
我々は、潜在空間における曖昧なテキストの表現差を特徴付ける異なるアプローチを採用する。
本稿では,概念上のパスカーネルに基づく新しい距離測度を導入し,あいまいな質問とあいまいな質問を区別する。
論文 参考訳（メタデータ） (2025-05-16T20:39:30Z) - Routing in Sparsely-gated Language Models responds to Context [0.0]
類似性アノテーション付きテキストペアのルーティング決定をトレースし、学習したトークン-専門家の割り当てのコンテキスト感度を評価する。
エンコーダ層内のルーティングは,主に(意味的)アソシエーションに依存するが,文脈的キューは付加的な改善のレイヤを提供する。
論文 参考訳（メタデータ） (2024-09-21T11:25:19Z) - Idioms, Probing and Dangerous Things: Towards Structural Probing for
Idiomaticity in Vector Space [2.5288257442251107]
本研究の目的は, 埋め込まれた慣用的な情報がどのように構造的にコード化されているか, より深く知ることである。
静的 (GloVe) とコンテキスト埋め込み (BERT) の比較検討を行った。
実験の結果,慣用性がベクトルノルムに符号化されているかどうかの矛盾する証拠が得られた。
論文 参考訳（メタデータ） (2023-04-27T17:06:20Z) - Multilingual Extraction and Categorization of Lexical Collocations with
Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。
以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文 参考訳（メタデータ） (2022-05-23T16:47:37Z) - Unsupervised Word Translation Pairing using Refinement based Point Set
Registration [8.568050813210823]
単語埋め込みの言語間アライメントは、言語間の知識伝達において重要な役割を果たす。
現在の教師なしのアプローチは、言語にまたがる単語埋め込み空間の幾何学的構造における類似性に依存している。
本稿では,バイリンガル単語の共有ベクトル空間への埋め込みを教師なしでマッピングするBioSpereを提案する。
論文 参考訳（メタデータ） (2020-11-26T09:51:29Z) - Unsupervised Distillation of Syntactic Information from Contextualized
Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。
この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。
我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文 参考訳（メタデータ） (2020-10-11T15:13:18Z) - A Comparative Study on Structural and Semantic Properties of Sentence
Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。
異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。
これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文 参考訳（メタデータ） (2020-09-23T15:45:32Z) - Temporal Embeddings and Transformer Models for Narrative Text
Understanding [72.88083067388155]
キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。
これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。
最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
論文 参考訳（メタデータ） (2020-03-19T14:23:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。