論文の概要: Do LLMs write like humans? Variation in grammatical and rhetorical styles
- arxiv url: http://arxiv.org/abs/2410.16107v1
- Date: Mon, 21 Oct 2024 15:35:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:13:14.838490
- Title: Do LLMs write like humans? Variation in grammatical and rhetorical styles
- Title(参考訳): LLMは人間のように書くか?文法的・修辞的スタイルの変化
- Authors: Alex Reinhart, David West Brown, Ben Markey, Michael Laudenbach, Kachatad Pantusen, Ronald Yurko, Gordon Weinberg,
- Abstract要約: 大規模言語モデル(LLM)の修辞形式について検討する。
ダグラス・ビーバーの語彙的・文法的・修辞的特徴セットを用いて, LLMと人間との系統的差異を同定した。
このことは、高度な能力にもかかわらず、LLMは人間のスタイルに合うのに苦労していることを示している。
- 参考スコア(独自算出の注目度): 0.7852714805965528
- License:
- Abstract: Large language models (LLMs) are capable of writing grammatical text that follows instructions, answers questions, and solves problems. As they have advanced, it has become difficult to distinguish their output from human-written text. While past research has found some differences in surface features such as word choice and punctuation, and developed classifiers to detect LLM output, none has studied the rhetorical styles of LLMs. Using several variants of Llama 3 and GPT-4o, we construct two parallel corpora of human- and LLM-written texts from common prompts. Using Douglas Biber's set of lexical, grammatical, and rhetorical features, we identify systematic differences between LLMs and humans and between different LLMs. These differences persist when moving from smaller models to larger ones, and are larger for instruction-tuned models than base models. This demonstrates that despite their advanced abilities, LLMs struggle to match human styles, and hence more advanced linguistic features can detect patterns in their behavior not previously recognized.
- Abstract(参考訳): 大きな言語モデル(LLM)は、指示に従い、質問に答え、問題を解決する文法的なテキストを書くことができる。
進歩するにつれて、その出力を人文テキストと区別することは困難になっている。
過去の研究では、単語の選択や句読点などの表面的特徴や、LLMの出力を検出するための分類器がいくつか見出されているが、LLMの修辞的なスタイルは研究されていない。
Llama 3 と GPT-4o のいくつかの変種を用いて、共通プロンプトから人文と LLM 文の並列コーパスを2つ構築する。
ダグラス・ビーバーの語彙的,文法的,修辞的特徴のセットを用いて,LLMと人間,および異なるLLMの系統的差異を同定した。
これらの違いは、より小さなモデルからより大きなモデルに移行する際に持続し、ベースモデルよりも命令調整モデルの方が大きい。
このことは、高度な能力にもかかわらず、LLMは人間のスタイルに合うのに苦労しており、それ故により高度な言語的特徴は、事前に認識されていない行動のパターンを検出することができることを示している。
関連論文リスト
- ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
大型言語モデル (LLM) は人間の好むテキストを生成する。
報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
論文 参考訳(メタデータ) (2024-05-27T17:38:33Z) - Evaluating the Elementary Multilingual Capabilities of Large Language Models with MultiQ [16.637598165238934]
大規模言語モデル(LLM)は、世界中の英語話者の大多数を含むすべての人にサービスを提供する必要がある。
近年の研究では、意図した用途に制限があるにもかかわらず、多くの言語でLSMを促すことが示されている。
我々は、27.4kのテスト質問に答える基本的なオープンエンド質問のための新しい銀標準ベンチマークであるMultiQを紹介する。
論文 参考訳(メタデータ) (2024-03-06T16:01:44Z) - When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。
具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。
FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
論文 参考訳(メタデータ) (2024-02-16T22:12:53Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Language models align with human judgments on key grammatical constructions [24.187439110055404]
確立したプラクティスを用いて,大規模言語モデル(LLM)のパフォーマンスを再評価する。
モデル全体の精度は高いが、人間の言語学的判断のきめ細かい変化も捉えることができる。
論文 参考訳(メタデータ) (2024-01-19T19:36:54Z) - How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。
最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。
ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。
数学的推論とコモンセンス推論の実験を行う。
論文 参考訳(メタデータ) (2023-11-22T17:24:21Z) - Contrasting Linguistic Patterns in Human and LLM-Generated News Text [20.127243508644984]
人書き英語のニューステキストに比較して,LLM(Large Language Model)の出力を定量的に分析する。
結果は、人間とAIが生成したテキストの様々な測定可能な相違を明らかにした。
人間の文章は、より散在した文の長さの分布、より多様な語彙、依存と構成型の明確な利用を示す。
LLM出力は人文よりも数字、記号、補助語が多用され、代名詞も多用される。
論文 参考訳(メタデータ) (2023-08-17T15:54:38Z) - In-Context Impersonation Reveals Large Language Models' Strengths and
Biases [56.61129643802483]
我々は、視覚と言語タスクを解く前に、LLMに異なるペルソナを仮定するよう依頼する。
異なる年齢の子どものふりをしたLSMが、ヒトのような発達段階を回復することがわかった。
言語に基づく推論タスクでは、ドメインエキスパートを装うLLMが、ドメイン専門家を装うLLMよりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2023-05-24T09:13:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。