論文の概要: A Comparative Approach to Assessing Linguistic Creativity of Large Language Models and Humans

• arxiv url: http://arxiv.org/abs/2507.12039v2
• Date: Thu, 17 Jul 2025 15:27:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 13:45:37.455969
• Title: A Comparative Approach to Assessing Linguistic Creativity of Large Language Models and Humans
• Title（参考訳）: 大規模言語モデルと人間の言語的創造性を評価するための比較的アプローチ
• Authors: Anca Dinu, Andra-Maria Florescu, Alina Resceanu,
• Abstract要約: テストは、新しい原語やフレーズを生成する能力を評価するための様々なタスクで構成されている。 我々は,24人の人間と同等数のLLMに対して試験を行い,OCSAIツールを用いて,オリジン性,実験性,柔軟性の3つの基準で回答を自動評価した。 その結果,LLMは評価基準のすべてにおいて人間よりも優れていただけでなく,8つのテストタスクのうち6つにおいて優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The following paper introduces a general linguistic creativity test for humans and Large Language Models (LLMs). The test consists of various tasks aimed at assessing their ability to generate new original words and phrases based on word formation processes (derivation and compounding) and on metaphorical language use. We administered the test to 24 humans and to an equal number of LLMs, and we automatically evaluated their answers using OCSAI tool for three criteria: Originality, Elaboration, and Flexibility. The results show that LLMs not only outperformed humans in all the assessed criteria, but did better in six out of the eight test tasks. We then computed the uniqueness of the individual answers, which showed some minor differences between humans and LLMs. Finally, we performed a short manual analysis of the dataset, which revealed that humans are more inclined towards E(extending)-creativity, while LLMs favor F(ixed)-creativity.
• Abstract（参考訳）: 下記の論文では、人間と大規模言語モデル(LLM)の言語的創造性テストについて紹介する。 このテストは、単語形成プロセス(派生と合成)と比喩的な言語使用に基づいて、新しい原語やフレーズを生成する能力を評価するための様々なタスクから構成される。 我々は,24人の人間と同等数のLLMに対して試験を行い,OCSAIツールを用いて,オリジン性,実験性,柔軟性の3つの基準で回答を自動評価した。 その結果,LLMは評価基準のすべてにおいて人間よりも優れていただけでなく,8つのテストタスクのうち6つにおいて優れていた。 次に,各回答の特異性を計算し,人間とLLMの微妙な違いを示した。 最後に,本データセットの簡単な手動解析を行い,人間はE(extending)-creativityに傾き,LSMはF(ixed)-creativityに好意的であることを明らかにした。

関連論文リスト

• LMLPA: Language Model Linguistic Personality Assessment [11.599282127259736]
  大規模言語モデル(LLM)は、日常の生活や研究にますます利用されている。 与えられたLLMの性格を測定することは、現在課題である。 言語モデル言語パーソナリティアセスメント(LMLPA)は,LLMの言語的パーソナリティを評価するシステムである。
  論文  参考訳（メタデータ） (2024-10-23T07:48:51Z)
• HLB: Benchmarking LLMs' Humanlikeness in Language Use [2.438748974410787]
  20大言語モデル(LLM)を評価する総合的人間類似度ベンチマーク(HLB)を提案する。 実験では2000人以上の被験者から回答を収集し,LSMの成果と比較した。 以上の結果から,LLMが様々な言語レベルにおいてヒトの反応をいかにうまく再現するかの微妙な相違が明らかとなった。
  論文  参考訳（メタデータ） (2024-09-24T09:02:28Z)
• Sample-Efficient Human Evaluation of Large Language Models via Maximum Discrepancy Competition [38.822535662755314]
  大規模言語モデル(LLM)のためのサンプル効率のよい人的評価手法を提案する。 提案手法は,LLM応答のペア間のセマンティックな差異を最大化する,コンパクトな入力命令セットを自動的に適応的に選択する。 人間の評価者は、これらのペア化された反応に対して3つの代替的な選択を行い、エロ評価を用いてグローバルなランキングに集約される。
  論文  参考訳（メタデータ） (2024-04-10T01:26:24Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• Establishing Vocabulary Tests as a Benchmark for Evaluating Large Language Models [2.7013338932521416]
  我々は,大言語モデル(LLM)の性能を評価する貴重なツールとして,語彙テストの復活を提唱する。 2つの言語にまたがる2つの語彙テスト形式を用いて7つのLSMを評価し,その語彙的知識の驚くべきギャップを明らかにする。
  論文  参考訳（メタデータ） (2023-10-23T08:45:12Z)
• Do LLMs Understand Social Knowledge? Evaluating the Sociability of Large Language Models with SocKET Benchmark [14.922083834969323]
  大規模言語モデル(LLM)は、様々な構文、談話、推論タスクでうまく機能することが示されている。 我々は、社会知識をテストする58のNLPタスクを含む理論駆動型ベンチマーク「SocKET」を導入する。
  論文  参考訳（メタデータ） (2023-05-24T09:21:06Z)
• Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
  大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:28:50Z)
• Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
  大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。 本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:14Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。