論文の概要: Long-form analogies generated by chatGPT lack human-like psycholinguistic properties

• arxiv url: http://arxiv.org/abs/2306.04537v1
• Date: Wed, 7 Jun 2023 15:42:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 13:31:50.352601
• Title: Long-form analogies generated by chatGPT lack human-like psycholinguistic properties
• Title（参考訳）: チャットGPTが生み出す長方形類似は人間のような精神言語学的特性を欠いている
• Authors: S. M. Seals and Valerie L. Shalin
• Abstract要約: バイオケミカル概念に関する長文類似から個々の文を評価するための心理言語学的手法を適用した。 導入生化学コースに登録された被験者が生成するアナロジーと、チャットGPTが生成するアナロジーを比較検討した。
• 参考スコア（独自算出の注目度）: 0.5884031187931463
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Psycholinguistic analyses provide a means of evaluating large language model (LLM) output and making systematic comparisons to human-generated text. These methods can be used to characterize the psycholinguistic properties of LLM output and illustrate areas where LLMs fall short in comparison to human-generated text. In this work, we apply psycholinguistic methods to evaluate individual sentences from long-form analogies about biochemical concepts. We compare analogies generated by human subjects enrolled in introductory biochemistry courses to analogies generated by chatGPT. We perform a supervised classification analysis using 78 features extracted from Coh-metrix that analyze text cohesion, language, and readability (Graesser et. al., 2004). Results illustrate high performance for classifying student-generated and chatGPT-generated analogies. To evaluate which features contribute most to model performance, we use a hierarchical clustering approach. Results from this analysis illustrate several linguistic differences between the two sources.
• Abstract（参考訳）: 心理言語学的分析は、大きな言語モデル(LLM)の出力を評価し、人間の生成したテキストと体系的に比較する手段を提供する。 これらの手法は、LLM出力の心理言語学的特性を特徴づけたり、LLMが人間の生成したテキストと比較して不足する領域を描写するのに使用することができる。 本研究は,精神言語学的手法を応用し,生化学概念に関する長文アナロジーから個々の文を評価する。 導入生化学講座に登録された被験者による類推とチャットGPTによる類推を比較した。 テキストの凝集, 言語, 可読性を解析するCoh-metrixから抽出した78個の特徴を用いた教師付き分類解析を行う(Graesser et. al., 2004)。 その結果, 学生生成・チャットGPT生成アナログの分類における性能が向上した。 モデルパフォーマンスに最も寄与する機能を評価するために、階層的クラスタリングアプローチを用いる。 この分析の結果,2つの情報源間の言語的差異が示唆された。

関連論文リスト

• Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• An Interpretable Deep Learning Approach for Morphological Script Type Analysis [15.142597136864618]
  本稿では,形態素スクリプト型解析に対する解釈可能な深層学習手法を提案する。 より正確には、我々は同等の文字のプロトタイプを学ぶために、ディープ・インスタンス・セグメンテーション法を適用する。 我々は、A. Derolez が定式化した Textualis Formata スクリプトタイプとその2つのサブタイプに適用することで、我々のアプローチを実証する。
  論文  参考訳（メタデータ） (2024-08-20T19:15:06Z)
• Comprehending Lexical and Affective Ontologies in the Demographically Diverse Spatial Social Media Discourse [0.0]
  本研究の目的は、英語のスタイル、感情の伝達、ソーシャルメディアデータにおける語彙の多様性など、言語的・社会的なデコグラフィーの特徴を理解することである。 分析では,2つのグループから統計的,文法的,感情的特徴を抽出し,検討する。 両群間の言語特性の相違が明らかとなり,マクロF1スコアは約0.85となった。
  論文  参考訳（メタデータ） (2023-11-12T04:23:33Z)
• StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding [72.38872974837462]
  大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。 textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。 我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
  論文  参考訳（メタデータ） (2023-10-19T16:29:23Z)
• ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
  ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである 1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
  論文  参考訳（メタデータ） (2023-05-10T09:03:01Z)
• ANALOGICAL -- A Novel Benchmark for Long Text Analogy Evaluation in Large Language Models [1.4546044532817048]
  ANALOGICALは、大規模言語モデルを本質的に評価する新しいベンチマークである。 以上の結果から, LLM が類型分類に進出する際, 類型分類を識別することがますます困難になっていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-05-08T21:12:20Z)
• Quantifying Synthesis and Fusion and their Impact on Machine Translation [79.61874492642691]
  自然言語処理(NLP)では、一般に、融合や凝集のような厳密な形態を持つ言語全体をラベル付けする。 本研究では,単語とセグメントレベルで形態型を定量化することにより,そのようなクレームの剛性を低減することを提案する。 本研究では, 英語, ドイツ語, トルコ語の非教師なし・教師付き形態素分割法について検討する一方, 融合ではスペイン語を用いた半自動手法を提案する。 そして、機械翻訳品質と単語(名詞と動詞)における合成・融合の程度との関係を分析する。
  論文  参考訳（メタデータ） (2022-05-06T17:04:58Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Evaluating text coherence based on the graph of the consistency of phrases to identify symptoms of schizophrenia [0.0]
  テキストコヒーレンス推定に基づく統合失調症症状検出の最先端手法について検討した。 文のセマンティック・コヒーレンスと凝集度を評価するために,句の一貫性のグラフに基づく手法が提案されている。
  論文  参考訳（メタデータ） (2020-05-06T08:38:20Z)
• Evaluating Transformer-Based Multilingual Text Classification [55.53547556060537]
  我々は,NLPツールが構文的・形態学的に異なる言語で不平等に機能すると主張している。 実験研究を支援するために,単語順と形態的類似度指標を算出した。
  論文  参考訳（メタデータ） (2020-04-29T03:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。