論文の概要: ChatGPT v Bard v Bing v Claude 2 v Aria v human-expert. How good are AI
chatbots at scientific writing? (ver. 23Q3)
- arxiv url: http://arxiv.org/abs/2309.08636v2
- Date: Fri, 22 Sep 2023 08:47:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 17:44:20.412563
- Title: ChatGPT v Bard v Bing v Claude 2 v Aria v human-expert. How good are AI
chatbots at scientific writing? (ver. 23Q3)
- Title（参考訳）: chatgpt v bard v bing v claude 2 v aria v human-expert。
科学書のAIチャットボットはどれくらい優れているか?
(第23q3)
- Authors: Edisa Lozi\'c and Benjamin \v{S}tular
- Abstract要約: 本稿では,人文科学と考古学における6つのAIチャットボットの能力と限界について,包括的に分析する。
この手法は、人間の専門家による定量的精度と質的精度のために、AI生成されたコンテンツをタグ付けする。
大規模言語モデルはコンテンツ生成に革命をもたらしたが、人文科学における独自の科学的貢献を生み出す能力は依然として限られていると結論付けている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Historically, proficient writing was deemed essential for human advancement,
with creative expression viewed as one of the hallmarks of human achievement.
However, recent advances in generative AI have marked an inflection point in
this narrative, including for scientific writing. This article provides a
comprehensive analysis of the capabilities and limitations of six AI chatbots
in scholarly writing in the humanities and archaeology. The methodology was
based on tagging AI generated content for quantitative accuracy and qualitative
precision by human experts. Quantitative accuracy assessed the factual
correctness, while qualitative precision gauged the scientific contribution.
While the AI chatbots, especially ChatGPT-4, demonstrated proficiency in
recombining existing knowledge, they failed in generating original scientific
content. As a side note, our results also suggest that with ChatGPT-4 the size
of the LLMs has plateaued. Furthermore, the paper underscores the intricate and
recursive nature of human research. This process of transforming raw data into
refined knowledge is computationally irreducible, which highlights the
challenges AI chatbots face in emulating human originality in scientific
writing. In conclusion, while large language models have revolutionised content
generation, their ability to produce original scientific contributions in the
humanities remains limited. We expect that this will change in the near future
with the evolution of current LLM-based AI chatbots towards LLM-powered
software.
- Abstract（参考訳）: 歴史的には、有能な文章は人間の進歩に不可欠と考えられており、創造的な表現は人間の達成の目印の一つと見なされていた。
しかし、最近の生成aiの進歩は、科学的な執筆を含むこの物語の転換点となった。
本稿では,人文科学と考古学における6つのAIチャットボットの能力と限界について,包括的に分析する。
この手法は、人間の専門家による定量的精度と質的精度のために、AI生成されたコンテンツをタグ付けする。
定量的精度は事実の正確性を評価し、質的精度は科学的貢献度を測定した。
AIチャットボット、特にChatGPT-4は、既存の知識を再結合する能力を示したが、元の科学コンテンツを生成できなかった。
また,この結果から,ChatGPT-4ではLLMのサイズが減少していたことが示唆された。
さらに,本論文は,人間研究の複雑かつ再帰的な性質を強調する。
生データを洗練された知識に変換するこのプロセスは、AIチャットボットが科学的な文章の中で人間の独創性をエミュレートする上で直面する課題を浮き彫りにしている。
結論として、大規模な言語モデルはコンテンツ生成に革命をもたらしたが、人文科学における独自の科学的貢献を生み出す能力は限られている。
近い将来、LLMベースのAIチャットボットをLLMベースのソフトウェアに進化させることで、この状況は変わるものと期待している。
関連論文リスト
- Human Bias in the Face of AI: The Role of Human Judgement in AI Generated Text Evaluation [48.70176791365903]
本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。
ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
論文 参考訳（メタデータ） (2024-09-29T04:31:45Z) - Empirical evidence of Large Language Model's influence on human spoken communication [25.09136621615789]
人工知能(AI)エージェントは、今や自然言語で何十億もの人間と対話する。
このことは、AIが人間の文化の基本的な側面を形成する可能性を秘めているかどうか、という疑問を提起する。
最近の分析によると、科学出版物はAI固有の言語の証拠をすでに示している。
論文 参考訳（メタデータ） (2024-09-03T10:01:51Z) - ConvXAI: Delivering Heterogeneous AI Explanations via Conversations to
Support Human-AI Scientific Writing [45.187790784934734]
本稿では,AIを活用した科学書記タスクのための会話型XAIについて述べる。
我々は、"multifaceted"、"controllability"、"mix-initiative"、"context-aware drill-down"の4つの設計論理を識別する。
我々はそれらをインタラクティブなプロトタイプであるConvXAIに組み込み、対話を通じて科学的記述のための異種AI説明を容易にする。
論文 参考訳（メタデータ） (2023-05-16T19:48:49Z) - AI, write an essay for me: A large-scale comparison of human-written
versus ChatGPT-generated essays [66.36541161082856]
ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。
本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
論文 参考訳（メタデータ） (2023-04-24T12:58:28Z) - One Small Step for Generative AI, One Giant Leap for AGI: A Complete
Survey on ChatGPT in AIGC Era [95.2284704286191]
GPT-4(別名ChatGPT Plus)は、生成型AI(GAI)の1つの小さなステップであるが、人工知能(AGI)の1つの大きな飛躍である。
2022年11月に公式リリースされて以来、ChatGPTは急速に多くのユーザーを惹きつけてきた。
この研究は、ChatGPTを基盤技術、アプリケーション、課題に関する包括的なレビューで調査した初めてのものである。
論文 参考訳（メタデータ） (2023-04-04T06:22:09Z) - Towards Healthy AI: Large Language Models Need Therapists Too [41.86344997530743]
私たちはHealthy AIを安全で信頼性があり倫理的であると定義しています。
本稿では,これらの有害行動の修正に心理療法を用いるセーフガードGPTフレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-02T00:39:12Z) - ChatGPT or academic scientist? Distinguishing authorship with over 99%
accuracy using off-the-shelf machine learning tools [0.0]
ChatGPTは、大衆向けのAI生成書き込みへのアクセスを可能にした。
人間の文章をAIから区別する必要性は、今、重要かつ緊急である。
そこで我々は,ChatGPTが生成したテキストを(人間)学術科学者から識別する手法を開発した。
論文 参考訳（メタデータ） (2023-03-28T23:16:00Z) - A Complete Survey on Generative AI (AIGC): Is ChatGPT from GPT-4 to
GPT-5 All You Need? [112.12974778019304]
生成AI(AIGC、つまりAI生成コンテンツ)は、テキスト、画像、その他を分析、作成する能力により、あらゆる場所で話題を呼んだ。
純粋な分析から創造へと移行するAIの時代において、ChatGPTは最新の言語モデルであるGPT-4とともに、多くのAIGCタスクからなるツールである。
本研究は,テキスト,画像,ビデオ,3Dコンテンツなど,出力タイプに基づいたAIGCタスクの技術的開発に焦点を当てている。
論文 参考訳（メタデータ） (2023-03-21T10:09:47Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳（メタデータ） (2021-07-12T14:21:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。