論文の概要: Do LLMs produce texts with "human-like" lexical diversity?

• arxiv url: http://arxiv.org/abs/2508.00086v1
• Date: Thu, 31 Jul 2025 18:22:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.625095
• Title: Do LLMs produce texts with "human-like" lexical diversity?
• Title（参考訳）: LLMは「人間のような」語彙の多様性を持つテキストを生成するか?
• Authors: Kelly Kendro, Jeffrey Maloney, Scott Jarvis,
• Abstract要約: 本研究では、4つのChatGPTモデルからLLM生成したテキストの語彙多様性パターンについて検討する。 語彙の多様性の6つの次元を各テキストで測定した。 その結果、LLMは語彙の多様性に関して人間的なテキストを生成せず、新しいLLMは古いモデルよりも人間的なテキストを生成できないことが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The degree to which LLMs produce writing that is truly human-like remains unclear despite the extensive empirical attention that this question has received. The present study addresses this question from the perspective of lexical diversity. Specifically, the study investigates patterns of lexical diversity in LLM-generated texts from four ChatGPT models (-3.5, -4, -o4 mini, and -4.5) in comparison with texts written by L1 and L2 English participants (n = 240) across four education levels. Six dimensions of lexical diversity were measured in each text: volume, abundance, variety-repetition, evenness, disparity, and dispersion. Results from one-way MANOVAs, one-way ANOVAS, and Support Vector Machines revealed that the LLM-generated texts differed significantly from human-written texts for each variable, with ChatGPT-o4 mini and -4.5 differing the most. Within these two groups, ChatGPT-4.5 demonstrated higher levels of lexical diversity despite producing fewer tokens. The human writers' lexical diversity did not differ across subgroups (i.e., education, language status). Altogether, the results indicate that LLMs do not produce human-like texts in relation to lexical diversity, and the newer LLMs produce less human-like texts than older models. We discuss the implications of these results for language pedagogy and related applications.
• Abstract（参考訳）: LLMが真に人間らしい文章を制作する程度は、この疑問が広く受け入れられた経験的関心にもかかわらず、まだ不明である。 本研究は語彙多様性の観点からこの問題に対処する。 具体的には、L1とL2の参加者(n =240)による4つの教育レベルのテキストと比較して、4つのChatGPTモデル(-3.5,-4,-o4 mini,-4.5)からLLMを生成するテキストの語彙的多様性のパターンについて検討した。 語彙の多様性の6つの次元を各テキストで測定した: ボリューム, 存在量, 多様性, 均一性, 格差, 分散性。 片方向MANOVA、片方向ANOVAS、サポートベクトルマシンの結果、LSM生成したテキストは各変数の人書きテキストと大きく異なり、ChatGPT-o4 miniと-4.5は最も異なることがわかった。 これら2つのグループの中で、ChatGPT-4.5はトークンが少ないにもかかわらず、より高いレキシカル多様性を示した。 人文作家の語彙的多様性は、サブグループ(教育、言語ステータスなど)によって異なるものではなかった。 その結果、LLMは語彙の多様性に関して人間的なテキストを生成せず、新しいLLMは古いモデルよりも人間的なテキストを生成できないことが示唆された。 本稿では,これらの結果が言語教育と関連する応用に与える影響について論じる。

関連論文リスト

• A Comprehensive Analysis of Large Language Model Outputs: Similarity, Diversity, and Bias [1.7109513360384465]
  大規模言語モデル(LLM)は、人工知能への大きな一歩である。 アウトプットの類似性、多様性、倫理的意味について疑問が残る。
  論文  参考訳（メタデータ） (2025-05-14T01:21:46Z)
• PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts [79.84059473102778]
  PolyMathは18の言語と4つの難易度をカバーする多言語数学的推論ベンチマークである。 我々のベンチマークは、包括性、言語多様性、高品質な翻訳の難しさを保証する。
  論文  参考訳（メタデータ） (2025-04-25T15:39:04Z)
• Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
  本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。 LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。 これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-06T05:15:34Z)
• Uncovering inequalities in new knowledge learning by large language models across different languages [66.687369838071]
  低リソース言語は、4つの次元すべてで一貫して不利に直面していることを示す。 我々は,LLMの新たな知識学習における言語的不平等の認識を高め,より包括的で公平な将来のLLMの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2025-03-06T03:41:47Z)
• Human Variability vs. Machine Consistency: A Linguistic Analysis of Texts Generated by Humans and Large Language Models [0.0]
  人文テキストと大言語モデル(LLM)で生成されたテキストとの有意な差異を同定する。 以上の結果から,人間は認知的要求の少ない文章を書けること,意味的内容の充実,感情的内容の充実などが示唆された。
  論文  参考訳（メタデータ） (2024-12-04T04:38:35Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Do LLMs write like humans? Variation in grammatical and rhetorical styles [0.7852714805965528]
  大規模言語モデル(LLM)の修辞形式について検討する。 ダグラス・ビーバーの語彙的・文法的・修辞的特徴セットを用いて, LLMと人間との系統的差異を同定した。 このことは、高度な能力にもかかわらず、LLMは人間のスタイルに合うのに苦労していることを示している。
  論文  参考訳（メタデータ） (2024-10-21T15:35:44Z)
• White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
  社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。 LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。 LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Whose LLM is it Anyway? Linguistic Comparison and LLM Attribution for GPT-3.5, GPT-4 and Bard [3.419330841031544]
  LLM(Large Language Model)は、人間の品質に類似したテキストを生成する能力を持つ。 我々は,最もポピュラーな3つのLLMから生成されるテキストの語彙,部分音声(POS)分布,依存性分布,感情を多様な入力と比較した。 その結果、言語学的に有意な変化を示し、88%の精度で所与のテキストをLLM起源とみなすことができた。
  論文  参考訳（メタデータ） (2024-02-22T13:25:17Z)
• Contrasting Linguistic Patterns in Human and LLM-Generated News Text [20.127243508644984]
  人書き英語のニューステキストに比較して,LLM(Large Language Model)の出力を定量的に分析する。 結果は、人間とAIが生成したテキストの様々な測定可能な相違を明らかにした。 人間の文章は、より散在した文の長さの分布、より多様な語彙、依存と構成型の明確な利用を示す。 LLM出力は人文よりも数字、記号、補助語が多用され、代名詞も多用される。
  論文  参考訳（メタデータ） (2023-08-17T15:54:38Z)
• Probing Pretrained Language Models for Lexical Semantics [76.73599166020307]
  類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。 我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
  論文  参考訳（メタデータ） (2020-10-12T14:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。