論文の概要: Long-form analogies generated by chatGPT lack human-like
psycholinguistic properties
- arxiv url: http://arxiv.org/abs/2306.04537v1
- Date: Wed, 7 Jun 2023 15:42:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 13:31:50.352601
- Title: Long-form analogies generated by chatGPT lack human-like
psycholinguistic properties
- Title(参考訳): チャットGPTが生み出す長方形類似は人間のような精神言語学的特性を欠いている
- Authors: S. M. Seals and Valerie L. Shalin
- Abstract要約: バイオケミカル概念に関する長文類似から個々の文を評価するための心理言語学的手法を適用した。
導入生化学コースに登録された被験者が生成するアナロジーと、チャットGPTが生成するアナロジーを比較検討した。
- 参考スコア(独自算出の注目度): 0.5884031187931463
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Psycholinguistic analyses provide a means of evaluating large language model
(LLM) output and making systematic comparisons to human-generated text. These
methods can be used to characterize the psycholinguistic properties of LLM
output and illustrate areas where LLMs fall short in comparison to
human-generated text. In this work, we apply psycholinguistic methods to
evaluate individual sentences from long-form analogies about biochemical
concepts. We compare analogies generated by human subjects enrolled in
introductory biochemistry courses to analogies generated by chatGPT. We perform
a supervised classification analysis using 78 features extracted from
Coh-metrix that analyze text cohesion, language, and readability (Graesser et.
al., 2004). Results illustrate high performance for classifying
student-generated and chatGPT-generated analogies. To evaluate which features
contribute most to model performance, we use a hierarchical clustering
approach. Results from this analysis illustrate several linguistic differences
between the two sources.
- Abstract(参考訳): 心理言語学的分析は、大きな言語モデル(LLM)の出力を評価し、人間の生成したテキストと体系的に比較する手段を提供する。
これらの手法は、LLM出力の心理言語学的特性を特徴づけたり、LLMが人間の生成したテキストと比較して不足する領域を描写するのに使用することができる。
本研究は,精神言語学的手法を応用し,生化学概念に関する長文アナロジーから個々の文を評価する。
導入生化学講座に登録された被験者による類推とチャットGPTによる類推を比較した。
テキストの凝集, 言語, 可読性を解析するCoh-metrixから抽出した78個の特徴を用いた教師付き分類解析を行う(Graesser et. al., 2004)。
その結果, 学生生成・チャットGPT生成アナログの分類における性能が向上した。
モデルパフォーマンスに最も寄与する機能を評価するために、階層的クラスタリングアプローチを用いる。
この分析の結果,2つの情報源間の言語的差異が示唆された。
関連論文リスト
- Comprehending Lexical and Affective Ontologies in the Demographically
Diverse Spatial Social Media Discourse [0.0]
本研究の目的は、英語のスタイル、感情の伝達、ソーシャルメディアデータにおける語彙の多様性など、言語的・社会的なデコグラフィーの特徴を理解することである。
分析では,2つのグループから統計的,文法的,感情的特徴を抽出し,検討する。
両群間の言語特性の相違が明らかとなり,マクロF1スコアは約0.85となった。
論文 参考訳(メタデータ) (2023-11-12T04:23:33Z) - StoryAnalogy: Deriving Story-level Analogies from Large Language Models
to Unlock Analogical Understanding [72.38872974837462]
大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。
textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。
我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
論文 参考訳(メタデータ) (2023-10-19T16:29:23Z) - A Discourse-level Multi-scale Prosodic Model for Fine-grained Emotion
Analysis [19.271542595753267]
本稿では、談話レベルのテキストから詳細な感情分析を行うための適切な韻律的特徴の予測について検討する。
本稿では,これらの2つの韻律的特徴を予測するために,多スケールテキストを利用したD-MPM(D-MPM)を提案する。
論文 参考訳(メタデータ) (2023-09-21T07:45:44Z) - Beneath Surface Similarity: Large Language Models Make Reasonable
Scientific Analogies after Structure Abduction [46.2032673640788]
人間の認知における類推的推論の不可欠な役割は、共用関係構造を通して親しみやすい概念とリンクすることで、新しい概念を把握できることである。
この研究は、Large Language Models (LLM) がこれらの類似の基盤となる構造をしばしば見落としていることを示唆している。
本稿では,2つのシステム間の類似性を形成する構造を導出するための,認知心理学に基づく類推的構造推論の課題を紹介する。
論文 参考訳(メタデータ) (2023-05-22T03:04:06Z) - ANALOGICAL -- A Novel Benchmark for Long Text Analogy Evaluation in
Large Language Models [1.4546044532817048]
ANALOGICALは、大規模言語モデルを本質的に評価する新しいベンチマークである。
以上の結果から, LLM が類型分類に進出する際, 類型分類を識別することがますます困難になっていることが明らかとなった。
論文 参考訳(メタデータ) (2023-05-08T21:12:20Z) - Quantifying Synthesis and Fusion and their Impact on Machine Translation [79.61874492642691]
自然言語処理(NLP)では、一般に、融合や凝集のような厳密な形態を持つ言語全体をラベル付けする。
本研究では,単語とセグメントレベルで形態型を定量化することにより,そのようなクレームの剛性を低減することを提案する。
本研究では, 英語, ドイツ語, トルコ語の非教師なし・教師付き形態素分割法について検討する一方, 融合ではスペイン語を用いた半自動手法を提案する。
そして、機械翻訳品質と単語(名詞と動詞)における合成・融合の程度との関係を分析する。
論文 参考訳(メタデータ) (2022-05-06T17:04:58Z) - Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。
本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
論文 参考訳(メタデータ) (2021-06-11T20:15:21Z) - A comprehensive comparative evaluation and analysis of Distributional
Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。
その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。
我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文 参考訳(メタデータ) (2021-05-20T15:18:06Z) - Evaluating text coherence based on the graph of the consistency of
phrases to identify symptoms of schizophrenia [0.0]
テキストコヒーレンス推定に基づく統合失調症症状検出の最先端手法について検討した。
文のセマンティック・コヒーレンスと凝集度を評価するために,句の一貫性のグラフに基づく手法が提案されている。
論文 参考訳(メタデータ) (2020-05-06T08:38:20Z) - Evaluating Transformer-Based Multilingual Text Classification [55.53547556060537]
我々は,NLPツールが構文的・形態学的に異なる言語で不平等に機能すると主張している。
実験研究を支援するために,単語順と形態的類似度指標を算出した。
論文 参考訳(メタデータ) (2020-04-29T03:34:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。