論文の概要: Large Language Models Preserve Semantic Isotopies in Story Continuations
- arxiv url: http://arxiv.org/abs/2510.04400v1
- Date: Mon, 06 Oct 2025 00:03:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:59.632465
- Title: Large Language Models Preserve Semantic Isotopies in Story Continuations
- Title（参考訳）: 物語継続における意味的アイソトープを保存する大規模言語モデル
- Authors: Marc Cavazza,
- Abstract要約: 我々は5つの大言語モデル(LLM)で完成した1万個のROCStoriesプロンプトを用いてストーリー継続実験を設計する。
まず、GPT-4oが言語ベンチマークからアイソトピーを抽出し、生成したストーリーに適用する能力を検証する。
次に, アイソトピーの構造的(被覆, 密度, 広がり)と意味的特性を分析し, 完備化による影響を評価する。
- 参考スコア（独自算出の注目度）: 2.5218924707714097
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this work, we explore the relevance of textual semantics to Large Language Models (LLMs), extending previous insights into the connection between distributional semantics and structural semantics. We investigate whether LLM-generated texts preserve semantic isotopies. We design a story continuation experiment using 10,000 ROCStories prompts completed by five LLMs. We first validate GPT-4o's ability to extract isotopies from a linguistic benchmark, then apply it to the generated stories. We then analyze structural (coverage, density, spread) and semantic properties of isotopies to assess how they are affected by completion. Results show that LLM completion within a given token horizon preserves semantic isotopies across multiple properties.
- Abstract（参考訳）: 本研究では,テキスト意味論とLarge Language Models(LLMs)との関連性について検討し,分布意味論と構造意味論の関連性について,これまでの知見を拡張した。
LLM生成したテキストが意味的アイソトピーを保存するかどうかを検討する。
5個のLCMで完了した1万個のROCStoriesプロンプトを用いてストーリー継続実験を設計する。
まず、GPT-4oが言語ベンチマークからアイソトピーを抽出し、生成したストーリーに適用する能力を検証する。
次に, アイソトピーの構造的(被覆, 密度, 広がり)と意味的特性を分析し, 完備化による影響を評価する。
以上の結果から,所与のトークン地平線内におけるLLMの完備化は,複数の特性にまたがる意味的アイソトピーを保存できることが示唆された。
関連論文リスト
- Dense SAE Latents Are Features, Not Bugs [75.08462524662072]
言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。
位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
論文 参考訳（メタデータ） (2025-06-18T17:59:35Z) - Idiosyncrasies in Large Language Models [54.26923012617675]
大規模言語モデル(LLM)における慣用句の公開と研究
LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。
我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
論文 参考訳（メタデータ） (2025-02-17T18:59:02Z) - Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。
提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。
語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-11-04T06:07:53Z) - Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。
実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。
これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
論文 参考訳（メタデータ） (2024-03-03T13:14:47Z) - Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。
しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。
語彙定義意味論(vocabulary-defined semantics)を提案する。
論文 参考訳（メタデータ） (2024-01-29T14:29:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。