論文の概要: ChatGPT as a commenter to the news: can LLMs generate human-like
opinions?
- arxiv url: http://arxiv.org/abs/2312.13961v1
- Date: Thu, 21 Dec 2023 15:46:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 14:18:31.676149
- Title: ChatGPT as a commenter to the news: can LLMs generate human-like
opinions?
- Title(参考訳): ニュースのコメンテーターとしてのChatGPT: LLMは人間的な意見を生み出すことができるか?
- Authors: Rayden Tseng, Suzan Verberne and Peter van der Putten
- Abstract要約: 我々は、GPT-3.5がオランダのニュース記事に対して、どの程度人間的なコメントを生成できるかを検討する。
複数のプロンプト技術で人間の類似性を解析する。
細調整されたBERTモデルでは,GPT-3.5生成したコメントと人手によるコメントを容易に区別できることがわかった。
- 参考スコア(独自算出の注目度): 3.0309690768567754
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: ChatGPT, GPT-3.5, and other large language models (LLMs) have drawn
significant attention since their release, and the abilities of these models
have been investigated for a wide variety of tasks. In this research we
investigate to what extent GPT-3.5 can generate human-like comments on Dutch
news articles. We define human likeness as `not distinguishable from human
comments', approximated by the difficulty of automatic classification between
human and GPT comments. We analyze human likeness across multiple prompting
techniques. In particular, we utilize zero-shot, few-shot and context prompts,
for two generated personas. We found that our fine-tuned BERT models can easily
distinguish human-written comments from GPT-3.5 generated comments, with none
of the used prompting methods performing noticeably better. We further analyzed
that human comments consistently showed higher lexical diversity than
GPT-generated comments. This indicates that although generative LLMs can
generate fluent text, their capability to create human-like opinionated
comments is still limited.
- Abstract(参考訳): ChatGPT、GPT-3.5、その他の大規模言語モデル(LLM)はリリース以来大きな注目を集めており、これらのモデルの能力は様々なタスクで研究されている。
本研究では,GPT-3.5がオランダのニュース記事に対する人間的なコメントをどの程度生成できるかを検討する。
我々は、人間とgptのコメントの自動分類の難しさに近似して、人間の類似性を「人間のコメントと区別できない」と定義する。
複数のプロンプト技術で人間の類似性を解析する。
特に、2つの生成したペルソナに対してゼロショット、少数ショット、コンテキストプロンプトを利用する。
細調整されたBERTモデルでは,GPT-3.5生成したコメントから人手によるコメントを容易に識別できることがわかった。
さらに,ヒトのコメントはGPT生成コメントよりも高い語彙多様性を示した。
これは、生成的llmは流麗なテキストを生成することができるが、人間のような意見のコメントを作成する能力はまだ限られていることを示している。
関連論文リスト
- Human vs. LMMs: Exploring the Discrepancy in Emoji Interpretation and
Usage in Digital Communication [74.73153805419201]
本研究は,ヒト型絵文字の複製におけるGPT-4Vの挙動について検討した。
この結果は、人間の解釈の主観的な性質から、人間とGPT-4Vの行動に明確な相違があることを示唆している。
論文 参考訳(メタデータ) (2024-01-16T08:56:52Z) - BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。
そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。
GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
論文 参考訳(メタデータ) (2023-10-20T16:53:51Z) - Assessing the nature of large language models: A caution against
anthropocentrism [0.0]
我々は,標準的,規範的,認知的・人格的尺度を用いて,主に GPT 3.5 の複数の LLM を評価した。
以上の結果から, LLMは人格の発見に反応する能力は興味深いが, 知覚を発達させる可能性が低いことが示唆された。
GPT3.5は、反復観察よりも認知的・人格的尺度に大きな変動を示した。
論文 参考訳(メタデータ) (2023-09-14T12:58:30Z) - ChatGPT or Human? Detect and Explain. Explaining Decisions of Machine
Learning Model for Detecting Short ChatGPT-generated Text [2.0378492681344493]
機械学習モデルを効果的に訓練することにより、本来の人間と一見人間(すなわちChatGPT生成)のテキストを正確に区別できるかどうかを検討する。
我々は、ChatGPT生成テキストと人文生成テキストを区別するために訓練されたモデルの背後にある理由を理解するために、説明可能な人工知能フレームワークを使用している。
本研究は,人間生成テキストとChatGPT生成テキストを比較した2つの実験を行い,短いオンラインレビューに焦点を当てた。
論文 参考訳(メタデータ) (2023-01-30T08:06:08Z) - Large language models can segment narrative events similarly to humans [8.167828404303107]
イベント境界は、人間のアノテーションではなく、大きな言語モデルであるGPT-3を使って導出される。
GPT-3アノテーションはヒトのイベントアノテーションと大きく相関している。
この発見は、GPT-3が自動イベントアノテーションの実現可能なソリューションであることを示唆している。
論文 参考訳(メタデータ) (2023-01-24T20:34:37Z) - How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation,
and Detection [8.107721810172112]
ChatGPTは、幅広い人間の質問に効果的に反応できる。
人々はChatGPTのような大きな言語モデル(LLM)が社会に与える影響を心配し始めています。
本研究では,人間の専門家とChatGPTの双方から,数万件の比較回答を収集した。
論文 参考訳(メタデータ) (2023-01-18T15:23:25Z) - COFFEE: Counterfactual Fairness for Personalized Text Generation in
Explainable Recommendation [56.520470678876656]
ユーザ記述テキストに固有のバイアスは、言語品質の異なるレベルとユーザの保護された属性を関連付けることができる。
説明生成における測度特異的な対実的公正性を実現するための一般的な枠組みを提案する。
論文 参考訳(メタデータ) (2022-10-14T02:29:10Z) - Elaboration-Generating Commonsense Question Answering at Scale [77.96137534751445]
一般的な感覚を必要とする質問応答では、言語モデル(例えばGPT-3)が背景知識を表すテキストを生成するために使われてきた。
より小さな言語モデルを微調整して有用な中間コンテキストを生成します。
私たちのフレームワークは、2つの言語モデルの更新 – 開発中のジェネレータと応答予測器 – を交互に行います。
論文 参考訳(メタデータ) (2022-09-02T18:32:09Z) - Reframing Human-AI Collaboration for Generating Free-Text Explanations [46.29832336779188]
少数の人間が記述した例を用いて,自由テキストの説明を生成する作業について考察する。
クラウドソースによる説明よりも,GPT-3による説明の方が好まれる。
我々は、GPT-3と教師付きフィルタを組み合わせたパイプラインを作成し、二項受理性判定を介し、ループ内人間を組み込む。
論文 参考訳(メタデータ) (2021-12-16T07:31:37Z) - All That's 'Human' Is Not Gold: Evaluating Human Evaluation of Generated
Text [46.260544251940125]
我々は、人間と機械によるテキストを区別する非専門家の能力を評価する研究を行っている。
トレーニングなしでは、GPT3--と人間によるテキストをランダムな確率レベルで区別する評価器があることが判明した。
論文 参考訳(メタデータ) (2021-06-30T19:00:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。