論文の概要: ChatGPT as a commenter to the news: can LLMs generate human-like opinions?

• arxiv url: http://arxiv.org/abs/2312.13961v1
• Date: Thu, 21 Dec 2023 15:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 14:18:31.676149
• Title: ChatGPT as a commenter to the news: can LLMs generate human-like opinions?
• Title（参考訳）: ニュースのコメンテーターとしてのChatGPT: LLMは人間的な意見を生み出すことができるか?
• Authors: Rayden Tseng, Suzan Verberne and Peter van der Putten
• Abstract要約: 我々は、GPT-3.5がオランダのニュース記事に対して、どの程度人間的なコメントを生成できるかを検討する。 複数のプロンプト技術で人間の類似性を解析する。 細調整されたBERTモデルでは,GPT-3.5生成したコメントと人手によるコメントを容易に区別できることがわかった。
• 参考スコア（独自算出の注目度）: 3.0309690768567754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ChatGPT, GPT-3.5, and other large language models (LLMs) have drawn significant attention since their release, and the abilities of these models have been investigated for a wide variety of tasks. In this research we investigate to what extent GPT-3.5 can generate human-like comments on Dutch news articles. We define human likeness as `not distinguishable from human comments', approximated by the difficulty of automatic classification between human and GPT comments. We analyze human likeness across multiple prompting techniques. In particular, we utilize zero-shot, few-shot and context prompts, for two generated personas. We found that our fine-tuned BERT models can easily distinguish human-written comments from GPT-3.5 generated comments, with none of the used prompting methods performing noticeably better. We further analyzed that human comments consistently showed higher lexical diversity than GPT-generated comments. This indicates that although generative LLMs can generate fluent text, their capability to create human-like opinionated comments is still limited.
• Abstract（参考訳）: ChatGPT、GPT-3.5、その他の大規模言語モデル(LLM)はリリース以来大きな注目を集めており、これらのモデルの能力は様々なタスクで研究されている。 本研究では,GPT-3.5がオランダのニュース記事に対する人間的なコメントをどの程度生成できるかを検討する。 我々は、人間とgptのコメントの自動分類の難しさに近似して、人間の類似性を「人間のコメントと区別できない」と定義する。 複数のプロンプト技術で人間の類似性を解析する。 特に、2つの生成したペルソナに対してゼロショット、少数ショット、コンテキストプロンプトを利用する。 細調整されたBERTモデルでは,GPT-3.5生成したコメントから人手によるコメントを容易に識別できることがわかった。 さらに,ヒトのコメントはGPT生成コメントよりも高い語彙多様性を示した。 これは、生成的llmは流麗なテキストを生成することができるが、人間のような意見のコメントを作成する能力はまだ限られていることを示している。

関連論文リスト

• Are Generative Language Models Multicultural? A Study on Hausa Culture and Emotions using ChatGPT [4.798444680860121]
  我々は,ChatGPTが生成した回答と,母国語話者が提供した回答とを,文化的に関連のある37の質問に対して比較した。 以上の結果から,ChatGPTは人間の反応とある程度の類似性を持っているが,ハウサ文化と感情に対する知識と認識のギャップやバイアスも示している。
  論文  参考訳（メタデータ） (2024-06-27T19:42:13Z)
• Measuring Psychological Depth in Language Models [50.48914935872879]
  本稿では,文学理論に根ざした新たな枠組みである心理的深度尺度(PDS)を紹介する。 PDS(0.72 クリッペンドルフのα)に基づいて人間が一貫して物語を評価できることを示し、我々の枠組みを実証的に検証する。 驚いたことに、GPT-4のストーリーはRedditから入手した高評価の人文記事と統計的に区別できない。
  論文  参考訳（メタデータ） (2024-06-18T14:51:54Z)
• Investigating Wit, Creativity, and Detectability of Large Language Models in Domain-Specific Writing Style Adaptation of Reddit's Showerthoughts [17.369951848952265]
  ショーア思想の領域において,LLMが人間の書体スタイルを簡潔で創造的なテキストで再現する能力について検討する。 創造的で機知に富んだテキストの品質を考慮に入れた、特定の次元のテキストに対する人間の嗜好を測定する。 人間の評価者は、生成したテキストの創造性について平均的にわずかに悪い評価を下すが、人間の文章とAI生成したテキストを確実に区別することはできないと結論付けている。
  論文  参考訳（メタデータ） (2024-05-02T18:29:58Z)
• How Well Can LLMs Echo Us? Evaluating AI Chatbots' Role-Play Ability with ECHO [55.25989137825992]
  チューリングテストに触発された評価フレームワークECHOを紹介する。 この枠組みは、人間と機械が生成した反応を区別するために、対象個人の知名度に係わる。 基礎モデルとして GPT-3.5 と GPT-4 の3つのロールプレイング LLM をECHO を用いて評価した。
  論文  参考訳（メタデータ） (2024-04-22T08:00:51Z)
• Human vs. LMMs: Exploring the Discrepancy in Emoji Interpretation and Usage in Digital Communication [68.40865217231695]
  本研究は,ヒト型絵文字の複製におけるGPT-4Vの挙動について検討した。 この結果は、人間の解釈の主観的な性質から、人間とGPT-4Vの行動に明確な相違があることを示唆している。
  論文  参考訳（メタデータ） (2024-01-16T08:56:52Z)
• ChatGPT or Human? Detect and Explain. Explaining Decisions of Machine Learning Model for Detecting Short ChatGPT-generated Text [2.0378492681344493]
  機械学習モデルを効果的に訓練することにより、本来の人間と一見人間(すなわちChatGPT生成)のテキストを正確に区別できるかどうかを検討する。 我々は、ChatGPT生成テキストと人文生成テキストを区別するために訓練されたモデルの背後にある理由を理解するために、説明可能な人工知能フレームワークを使用している。 本研究は,人間生成テキストとChatGPT生成テキストを比較した2つの実験を行い,短いオンラインレビューに焦点を当てた。
  論文  参考訳（メタデータ） (2023-01-30T08:06:08Z)
• How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection [8.107721810172112]
  ChatGPTは、幅広い人間の質問に効果的に反応できる。 人々はChatGPTのような大きな言語モデル(LLM)が社会に与える影響を心配し始めています。 本研究では,人間の専門家とChatGPTの双方から,数万件の比較回答を収集した。
  論文  参考訳（メタデータ） (2023-01-18T15:23:25Z)
• Elaboration-Generating Commonsense Question Answering at Scale [77.96137534751445]
  一般的な感覚を必要とする質問応答では、言語モデル(例えばGPT-3)が背景知識を表すテキストを生成するために使われてきた。 より小さな言語モデルを微調整して有用な中間コンテキストを生成します。 私たちのフレームワークは、2つの言語モデルの更新 – 開発中のジェネレータと応答予測器 – を交互に行います。
  論文  参考訳（メタデータ） (2022-09-02T18:32:09Z)
• Reframing Human-AI Collaboration for Generating Free-Text Explanations [46.29832336779188]
  少数の人間が記述した例を用いて,自由テキストの説明を生成する作業について考察する。 クラウドソースによる説明よりも,GPT-3による説明の方が好まれる。 我々は、GPT-3と教師付きフィルタを組み合わせたパイプラインを作成し、二項受理性判定を介し、ループ内人間を組み込む。
  論文  参考訳（メタデータ） (2021-12-16T07:31:37Z)
• All That's 'Human' Is Not Gold: Evaluating Human Evaluation of Generated Text [46.260544251940125]
  我々は、人間と機械によるテキストを区別する非専門家の能力を評価する研究を行っている。 トレーニングなしでは、GPT3--と人間によるテキストをランダムな確率レベルで区別する評価器があることが判明した。
  論文  参考訳（メタデータ） (2021-06-30T19:00:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。