論文の概要: Semantic Delta: An Interpretable Signal Differentiating Human and LLMs Dialogue

• arxiv url: http://arxiv.org/abs/2603.19849v1
• Date: Fri, 20 Mar 2026 11:01:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.112038
• Title: Semantic Delta: An Interpretable Signal Differentiating Human and LLMs Dialogue
• Title（参考訳）: セマンティックデルタ:人間とLLMの対話を区別する解釈可能な信号
• Authors: Riccardo Scantamburlo, Mauro Mezzanzana, Giacomo Buonanno, Francesco Bertolotti,
• Abstract要約: 意味圏分布から導出した軽量な計量法を提案する。 セマンティックデルタを対話における2つの最も支配的なカテゴリ強度の差として定義する。 結果は、AI生成したテキストが人間のテキストよりも高いデルタを生成することを示す。
• 参考スコア（独自算出の注目度）: 3.9431873099460826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do LLMs talk like us? This question intrigues a multitude of scholar and it is relevant in many fields, from education to academia. This work presents an interpretable statistical feature for distinguishing human written and LLMs generated dialogue. We introduce a lightweight metric derived from semantic categories distribution. Using the Empath lexical analysis framework, each text is mapped to a set of thematic intensity scores. We define semantic delta as the difference between the two most dominant category intensities within a dialogue, hypothesizing that LLM outputs exhibit stronger thematic concentration than human discourse. To evaluate this hypothesis, conversational data were generated from multiple LLM configurations and compared against heterogeneous human corpora, including scripted dialogue, literary works, and online discussions. A Welch t-test was applied to the resulting distributions of semantic delta values. Results show that AI-generated texts consistently produce higher deltas than human texts, indicating a more rigid topics structure, whereas human dialogue displays a broader and more balanced semantic spread. Rather than replacing existing detection techniques, the proposed zero-shot metric provides a computationally inexpensive complementary signal that can be integrated into ensemble detection systems. These finding also contribute to the broader empirical understanding of LLM behavioural mimicry and suggest that thematic distribution constitutes a quantifiable dimension along which current models fall short of human conversational dynamics.
• Abstract（参考訳）: LLMは私たちのように話しますか? この問題は多くの学者を惹きつけており、教育から学業まで多くの分野で関係している。 本研究は,人間の書き起こしとLLM生成対話を区別するための解釈可能な統計的特徴を示す。 意味圏分布から導出した軽量な計量法を提案する。 Empathの語彙分析フレームワークを使用して、各テキストはテーマの強度スコアのセットにマッピングされる。 セマンティックデルタを対話における2つの最も支配的なカテゴリ強度の差として定義し,LLM出力が人間の会話よりも強いテーマ集中を示すことを仮定した。 この仮説を評価するために、複数のLLM構成から会話データを生成し、台詞対話、文学作品、オンラインディスカッションを含む異種人間コーパスと比較した。 Welch t-test を意味デルタ値の分布に応用した。 その結果、AI生成したテキストは人間のテキストよりも高いデルタを生成し、より厳密なトピック構造を示すのに対し、人間の対話はより広くバランスの取れたセマンティックスプレッドを表示することがわかった。 既存の検出技術を置き換える代わりに、提案されたゼロショットメートル法は、アンサンブル検出システムに組み込むことができる計算的に安価な補完信号を提供する。 これらの発見は、LLMの行動模倣に関するより広範な経験的理解にも寄与し、現在のモデルが人間の会話力学に欠ける量的な次元を構成することを示唆している。

関連論文リスト

• Simulating Meaning, Nevermore! Introducing ICR: A Semiotic-Hermeneutic Metric for Evaluating Meaning in LLM Text Summaries [13.104408059072457]
  本稿では,大言語モデル(LLM)生成言語における意味を研究するための学際的枠組みを提案する。 本稿では,言語記号が静的および文脈的埋め込みモデルにおいて,ベクトル化表現にどのように変換されるかを検討する。 次に、LCM出力における意味的精度と意味的アライメントを評価するために設計されたICR(Inductive Conceptual Rating)メトリクスを紹介する。
  論文  参考訳（メタデータ） (2026-02-03T18:05:09Z)
• EMODIS: A Benchmark for Context-Dependent Emoji Disambiguation in Large Language Models [6.145223237741804]
  大規模言語モデル(LLM)は、現実世界の通信環境にますます展開されているが、文脈に依存したあいまいさを解決できる能力はまだ未定である。 我々は,最小かつコントラッシブな文脈下で曖昧な絵文字表現を解釈するLLMの能力を評価するための新しいベンチマークEMODISを提案する。
  論文  参考訳（メタデータ） (2025-11-10T15:24:01Z)
• Computational Turing Test Reveals Systematic Differences Between Human and AI Language [0.0]
  大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするために社会科学でますます使われている。 既存の検証努力は人的判断に基づく評価に大きく依存している。 本稿では,LLMが人間の言語にどの程度近いかを評価するために,計算チューリングテストを提案する。
  論文  参考訳（メタデータ） (2025-11-06T08:56:37Z)
• The dynamics of meaning through time: Assessment of Large Language Models [2.5864824580604515]
  本研究では,様々な大規模言語モデル(LLM)が意味の時間的ダイナミクスを捉える能力を評価することを目的とする。 比較分析にはChatGPT、GPT-4、Claude、Bard、Gemini、Llamaといった著名なモデルが含まれています。 発見は、各モデルの歴史的文脈と意味的シフトの扱いにおいて顕著な違いを示し、時間的意味的理解における強みと制限の両方を強調した。
  論文  参考訳（メタデータ） (2025-01-09T19:56:44Z)
• Human Variability vs. Machine Consistency: A Linguistic Analysis of Texts Generated by Humans and Large Language Models [0.0]
  人文テキストと大言語モデル(LLM)で生成されたテキストとの有意な差異を同定する。 以上の結果から,人間は認知的要求の少ない文章を書けること,意味的内容の充実,感情的内容の充実などが示唆された。
  論文  参考訳（メタデータ） (2024-12-04T04:38:35Z)
• Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
  人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。 本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
  論文  参考訳（メタデータ） (2024-03-17T07:08:55Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。