論文の概要: Judgments of research co-created by generative AI: experimental evidence

• arxiv url: http://arxiv.org/abs/2305.11873v1
• Date: Wed, 3 May 2023 15:57:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-28 05:37:58.536116
• Title: Judgments of research co-created by generative AI: experimental evidence
• Title（参考訳）: 生成AIによる共同研究の判断--実験的証拠
• Authors: Pawe{\l} Niszczota, Paul Conway
• Abstract要約: 研究プロセスの一部をLSMに委譲することで、研究者や科学的成果に不信感と評価が生じるかどうかを検証する。 人々は、人間に委任するよりもLLMに委任する方が受け入れがたいと判断した。 我々は、この切り下げが、生成的AI利用の過小評価にどのように移行するかについて議論する。
• 参考スコア（独自算出の注目度）: 1.8275108630751844
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The introduction of ChatGPT has fuelled a public debate on the use of generative AI (large language models; LLMs), including its use by researchers. In the current work, we test whether delegating parts of the research process to LLMs leads people to distrust and devalue researchers and scientific output. Participants (N=402) considered a researcher who delegates elements of the research process to a PhD student or LLM, and rated (1) moral acceptability, (2) trust in the scientist to oversee future projects, and (3) the accuracy and quality of the output. People judged delegating to an LLM as less acceptable than delegating to a human (d = -0.78). Delegation to an LLM also decreased trust to oversee future research projects (d = -0.80), and people thought the results would be less accurate and of lower quality (d = -0.85). We discuss how this devaluation might transfer into the underreporting of generative AI use.
• Abstract（参考訳）: ChatGPTの導入は、研究者による使用を含む生成AI(大規模言語モデル; LLM)の使用に関する公的な議論を加速させた。 本研究では,研究プロセスの一部をLSMに委譲することで,研究者や科学的成果に不信感を抱かせるか検証する。 参加者(N=402)は、研究プロセスの要素をPhD学生またはLLMに委譲し、(1)道徳的受容性、(2)将来のプロジェクトを監視する科学者への信頼、(3)アウトプットの正確性と品質を評価した研究者である。 人々は、LLMへの委任は人間への委譲よりも受け入れられないと判断した(d = -0.78)。 LLMへの委譲はまた、将来の研究プロジェクトを監督する信頼(d = -0.80)を減らし、その結果はより正確で品質が低い(d = -0.85)と考えた。 我々は、この切り下げが、生成的AI利用の過小評価にどのように移行するかについて議論する。

関連論文リスト

• LLMs as Research Tools: A Large Scale Survey of Researchers' Usage and Perceptions [20.44227547555244]
  大規模言語モデル (LLMs) は、多くの研究者が科学的な研究に利用することを検討している。 筆者らによる816件の研究論文の大規模調査を行った。 81%の研究者がすでにLLMを研究ワークフローのさまざまな側面に組み込んでいることがわかった。
  論文  参考訳（メタデータ） (2024-10-30T04:25:23Z)
• Chain of Ideas: Revolutionizing Research Via Novel Idea Development with LLM Agents [64.64280477958283]
  科学文献の急激な増加は、研究者が最近の進歩と意義ある研究方向を見極めるのを困難にしている。 大規模言語モデル(LLM)の最近の発展は、新しい研究のアイデアを自動生成するための有望な道のりを示唆している。 本研究では, チェーン構造に関連文献を整理し, 研究領域の進展を効果的に反映する, LLMベースのエージェントであるChain-of-Ideas(CoI)エージェントを提案する。
  論文  参考訳（メタデータ） (2024-10-17T03:26:37Z)
• 'Simulacrum of Stories': Examining Large Language Models as Qualitative Research Participants [13.693069737188859]
  生産モデルに関する最近の興奮は、研究開発における人間の参加と労働の置き換えを示唆する提案の波を引き起こしている。 我々は,このパラダイムシフトの視点を理解するために,19人の定性的な研究者にインタビューを行った。
  論文  参考訳（メタデータ） (2024-09-28T18:28:47Z)
• Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers [90.26363107905344]
  大型言語モデル(LLM)は、科学的な発見を加速する可能性についての楽観主義を喚起した。 LLMシステムは、新しい専門家レベルのアイデアを生み出すための第一歩を踏み出すことができるという評価はない。
  論文  参考訳（メタデータ） (2024-09-06T08:25:03Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• Large language models surpass human experts in predicting neuroscience results [60.26891446026707]
  大きな言語モデル(LLM)は、人間の専門家よりも新しい結果を予測する。 BrainBenchは神経科学の結果を予測するためのベンチマークだ。 我々のアプローチは神経科学に特有ではなく、他の知識集約的な取り組みに伝達可能である。
  論文  参考訳（メタデータ） (2024-03-04T15:27:59Z)
• Language Models Hallucinate, but May Excel at Fact Verification [89.0833981569957]
  大規模言語モデル (LLM) はしばしば「ハロシン化 (hallucinate)」し、結果として非実効出力となる。 GPT-3.5でさえ、実際の出力は25%以下である。 これは、進捗を計測し、インセンティブを与えるために、事実検証の重要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2023-10-23T04:39:01Z)
• Potential Benefits of Employing Large Language Models in Research in Moral Education and Development [0.0]
  近年,計算機科学者は大規模言語コーパスと人間強化を用いた予測モデルを訓練することで,大規模言語モデル(LLM)を開発した。 LLMが道徳教育・開発研究にどのように貢献するかについて検討する。
  論文  参考訳（メタデータ） (2023-06-23T22:39:05Z)
• Exploring Qualitative Research Using LLMs [8.545798128849091]
  この研究は、人間とAIが駆動する大規模言語モデルの理解能力を比較し、比較することを目的としている。 私たちはAlexaアプリのレビューの小さなサンプルを使って実験を行い、最初は人間のアナリストによって分類された。 LLMはこれらのレビューを分類し、それぞれの分類の背後にある理由を提供するよう求められた。
  論文  参考訳（メタデータ） (2023-06-23T05:21:36Z)
• Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
  大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。