論文の概要: Do LLMs write like humans? Variation in grammatical and rhetorical styles

• arxiv url: http://arxiv.org/abs/2410.16107v1
• Date: Mon, 21 Oct 2024 15:35:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:13:14.838490
• Title: Do LLMs write like humans? Variation in grammatical and rhetorical styles
• Title（参考訳）: LLMは人間のように書くか?文法的・修辞的スタイルの変化
• Authors: Alex Reinhart, David West Brown, Ben Markey, Michael Laudenbach, Kachatad Pantusen, Ronald Yurko, Gordon Weinberg,
• Abstract要約: 大規模言語モデル(LLM)の修辞形式について検討する。 ダグラス・ビーバーの語彙的・文法的・修辞的特徴セットを用いて, LLMと人間との系統的差異を同定した。 このことは、高度な能力にもかかわらず、LLMは人間のスタイルに合うのに苦労していることを示している。
• 参考スコア（独自算出の注目度）: 0.7852714805965528
• License:
• Abstract: Large language models (LLMs) are capable of writing grammatical text that follows instructions, answers questions, and solves problems. As they have advanced, it has become difficult to distinguish their output from human-written text. While past research has found some differences in surface features such as word choice and punctuation, and developed classifiers to detect LLM output, none has studied the rhetorical styles of LLMs. Using several variants of Llama 3 and GPT-4o, we construct two parallel corpora of human- and LLM-written texts from common prompts. Using Douglas Biber's set of lexical, grammatical, and rhetorical features, we identify systematic differences between LLMs and humans and between different LLMs. These differences persist when moving from smaller models to larger ones, and are larger for instruction-tuned models than base models. This demonstrates that despite their advanced abilities, LLMs struggle to match human styles, and hence more advanced linguistic features can detect patterns in their behavior not previously recognized.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、指示に従い、質問に答え、問題を解決する文法的なテキストを書くことができる。 進歩するにつれて、その出力を人文テキストと区別することは困難になっている。 過去の研究では、単語の選択や句読点などの表面的特徴や、LLMの出力を検出するための分類器がいくつか見出されているが、LLMの修辞的なスタイルは研究されていない。 Llama 3 と GPT-4o のいくつかの変種を用いて、共通プロンプトから人文と LLM 文の並列コーパスを2つ構築する。 ダグラス・ビーバーの語彙的,文法的,修辞的特徴のセットを用いて,LLMと人間,および異なるLLMの系統的差異を同定した。 これらの違いは、より小さなモデルからより大きなモデルに移行する際に持続し、ベースモデルよりも命令調整モデルの方が大きい。 このことは、高度な能力にもかかわらず、LLMは人間のスタイルに合うのに苦労しており、それ故により高度な言語的特徴は、事前に認識されていない行動のパターンを検出することができることを示している。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Reverse Modeling in Large Language Models [39.18082267850437]
  人間は前もって読み書きに慣れている。 本稿では,自己回帰型大規模言語モデル (LLM) が逆モデリングに苦しむかを検討する。
  論文  参考訳（メタデータ） (2024-10-13T12:24:03Z)
• CUTE: Measuring LLMs' Understanding of Their Tokens [54.70665106141121]
  大きな言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示す。 LLMはどの程度の間、正書法情報を学ぶことができるのか? LLMの正書法知識をテストするために設計されたタスクの集合を特徴とする新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-09-23T18:27:03Z)
• LLMs' Understanding of Natural Language Revealed [0.0]
  大規模言語モデル(LLM)は、大規模言語におけるボトムアップ、データ駆動のリバースエンジニアリングにおける大規模な実験の結果である。 私たちはLLMの言語理解能力、彼らが想定する砦をテストすることに重点を置きます。
  論文  参考訳（メタデータ） (2024-07-29T01:21:11Z)
• Beware of Words: Evaluating the Lexical Diversity of Conversational LLMs using ChatGPT as Case Study [3.0059120458540383]
  対話型大言語モデル(LLM)が生成するテキストの語彙的リッチ性の評価と,それがモデルパラメータにどのように依存するかを検討する。 その結果、語彙豊かさがChatGPTのバージョンと、そのパラメータのいくつか、例えば存在ペナルティやモデルに割り当てられた役割にどのように依存しているかが示される。
  論文  参考訳（メタデータ） (2024-02-11T13:41:17Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Language models align with human judgments on key grammatical constructions [24.187439110055404]
  確立したプラクティスを用いて,大規模言語モデル(LLM)のパフォーマンスを再評価する。 モデル全体の精度は高いが、人間の言語学的判断のきめ細かい変化も捉えることができる。
  論文  参考訳（メタデータ） (2024-01-19T19:36:54Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Contrasting Linguistic Patterns in Human and LLM-Generated News Text [20.127243508644984]
  人書き英語のニューステキストに比較して,LLM(Large Language Model)の出力を定量的に分析する。 結果は、人間とAIが生成したテキストの様々な測定可能な相違を明らかにした。 人間の文章は、より散在した文の長さの分布、より多様な語彙、依存と構成型の明確な利用を示す。 LLM出力は人文よりも数字、記号、補助語が多用され、代名詞も多用される。
  論文  参考訳（メタデータ） (2023-08-17T15:54:38Z)
• In-Context Impersonation Reveals Large Language Models' Strengths and Biases [56.61129643802483]
  我々は、視覚と言語タスクを解く前に、LLMに異なるペルソナを仮定するよう依頼する。 異なる年齢の子どものふりをしたLSMが、ヒトのような発達段階を回復することがわかった。 言語に基づく推論タスクでは、ドメインエキスパートを装うLLMが、ドメイン専門家を装うLLMよりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-05-24T09:13:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。