論文の概要: Is This Abstract Generated by AI? A Research for the Gap between AI-generated Scientific Text and Human-written Scientific Text

• arxiv url: http://arxiv.org/abs/2301.10416v1
• Date: Tue, 24 Jan 2023 04:23:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-26 15:56:54.881163
• Title: Is This Abstract Generated by AI? A Research for the Gap between AI-generated Scientific Text and Human-written Scientific Text
• Title（参考訳）: この抽象化はAIによって生成されるか? AIによる科学テキストと人文科学テキストのギャップに関する研究
• Authors: Yongqiang Ma, Jiawei Liu, Fan Yi
• Abstract要約: 本稿では,AIが生み出す科学内容と人間による文章とのギャップについて検討する。 我々は、AI生成科学テキストと人文科学テキストの間に、文章スタイルのギャップがあることを発見した。
• 参考スコア（独自算出の注目度）: 13.438933219811188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: BACKGROUND: Recent neural language models have taken a significant step forward in producing remarkably controllable, fluent, and grammatical text. Although some recent works have found that AI-generated text is not distinguishable from human-authored writing for crowd-sourcing workers, there still exist errors in AI-generated text which are even subtler and harder to spot. METHOD: In this paper, we investigate the gap between scientific content generated by AI and written by humans. Specifically, we first adopt several publicly available tools or models to investigate the performance for detecting GPT-generated scientific text. Then we utilize features from writing style to analyze the similarities and differences between the two types of content. Furthermore, more complex and deep perspectives, such as consistency, coherence, language redundancy, and factual errors, are also taken into consideration for in-depth analysis. RESULT: The results suggest that while AI has the potential to generate scientific content that is as accurate as human-written content, there is still a gap in terms of depth and overall quality. AI-generated scientific content is more likely to contain errors in language redundancy and factual issues. CONCLUSION: We find that there exists a ``writing style'' gap between AI-generated scientific text and human-written scientific text. Moreover, based on the analysis result, we summarize a series of model-agnostic or distribution-agnostic features, which could be utilized to unknown or novel domain distribution and different generation methods. Future research should focus on not only improving the capabilities of AI models to produce high-quality content but also examining and addressing ethical and security concerns related to the generation and the use of AI-generated content.
• Abstract（参考訳）: 背景: 最近のニューラル言語モデルは、非常に制御性が高く、滑らかで、文法的なテキストを生成する上で大きな一歩を踏み出した。 最近の研究によると、AI生成のテキストは、クラウドソーシングワーカーのための人間による文章とは区別できないが、AI生成のテキストには、さらに微妙で見つけにくい誤りがある。 方法:本論文では,AIが生み出す科学内容と人間による文章とのギャップについて検討する。 具体的には、まず、GPT生成した科学的テキストを検出するために、利用可能なツールやモデルをいくつか採用する。 次に,2種類のコンテンツ間の類似点と相違点を分析するために,文体の特徴を利用する。 さらに、一貫性、一貫性、言語冗長性、事実的誤りといった、より複雑で深い視点も、詳細な分析のために考慮される。 RESULT: 結果は、AIが人間の書いたコンテンツと同じくらい正確な科学的コンテンツを生成できる可能性を示唆していますが、深さと全体的な品質の差はまだあります。 AIが生成する科学コンテンツは、言語冗長性や事実上の問題にエラーを含むことが多い。 結論:AI生成科学テキストと人文科学テキストの間に「書体スタイル」のギャップが存在することがわかった。 さらに,解析結果に基づいて,未知あるいは新規な領域分布と異なる生成法に使用できる,モデルに依存しない,あるいは分布に依存しない一連の特徴を要約する。 今後の研究は、高品質なコンテンツを生成するためのAIモデルの能力の向上だけでなく、AI生成コンテンツの生成と使用に関する倫理的およびセキュリティ上の懸念の調査と対処にも焦点をあてるべきである。

関連論文リスト

• Human Bias in the Face of AI: The Role of Human Judgement in AI Generated Text Evaluation [48.70176791365903]
  本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。 ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
  論文  参考訳（メタデータ） (2024-09-29T04:31:45Z)
• Decoding AI and Human Authorship: Nuances Revealed Through NLP and Statistical Analysis [0.0]
  本研究では,AIが生成したテキストと人間が作成したテキストの微妙な相違について検討する。 本研究は,人文・AI生成テキストに固有の言語特性,創造性パターン,潜在的なバイアスについて検討した。
  論文  参考訳（メタデータ） (2024-07-15T18:09:03Z)
• Who Writes the Review, Human or AI? [0.36498648388765503]
  本研究では,AIによる書評と人間による書評を正確に区別する手法を提案する。 提案手法は移動学習を利用して,異なるトピック間で生成したテキストを識別する。 実験の結果、元のテキストのソースを検出でき、精度96.86%に達することが示されている。
  論文  参考訳（メタデータ） (2024-05-30T17:38:44Z)
• Deep Learning Detection Method for Large Language Models-Generated Scientific Content [0.0]
  大規模言語モデルは、人間が書いたものと区別できない科学的内容を生成する。 本稿では,ChatGPTを用いた科学テキスト検出手法であるAI-Catcherを提案する。 AI-Catcherの精度は平均37.4%向上した。
  論文  参考訳（メタデータ） (2024-02-27T19:16:39Z)
• Generative AI in Writing Research Papers: A New Type of Algorithmic Bias and Uncertainty in Scholarly Work [0.38850145898707145]
  大規模言語モデル(LLM)と生成AIツールは、バイアスを特定し、対処する上での課題を提示している。 生成型AIツールは、不正な一般化、幻覚、レッド・チーム・プロンプトのような敵攻撃を目標とする可能性がある。 研究原稿の執筆過程に生成AIを組み込むことで,新しいタイプの文脈依存型アルゴリズムバイアスがもたらされることがわかった。
  論文  参考訳（メタデータ） (2023-12-04T04:05:04Z)
• Towards Possibilities & Impossibilities of AI-generated Text Detection: A Survey [97.33926242130732]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。 これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。 これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
  論文  参考訳（メタデータ） (2023-10-23T18:11:32Z)
• The Imitation Game: Detecting Human and AI-Generated Texts in the Era of ChatGPT and BARD [3.2228025627337864]
  異なるジャンルの人文・AI生成テキストのデータセットを新たに導入する。 テキストを分類するために、いくつかの機械学習モデルを使用します。 結果は、人間とAIが生成したテキストを識別する上で、これらのモデルの有効性を示す。
  論文  参考訳（メタデータ） (2023-07-22T21:00:14Z)
• AI, write an essay for me: A large-scale comparison of human-written versus ChatGPT-generated essays [66.36541161082856]
  ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。 本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
  論文  参考訳（メタデータ） (2023-04-24T12:58:28Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• On the probability-quality paradox in language generation [76.69397802617064]
  我々は情報理論レンズを用いて言語生成を分析する。 人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
  論文  参考訳（メタデータ） (2022-03-31T17:43:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。