論文の概要: Generative AI in Academic Writing: A Comparison of DeepSeek, Qwen, ChatGPT, Gemini, Llama, Mistral, and Gemma
- arxiv url: http://arxiv.org/abs/2503.04765v2
- Date: Thu, 01 May 2025 20:30:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-05 13:22:23.391874
- Title: Generative AI in Academic Writing: A Comparison of DeepSeek, Qwen, ChatGPT, Gemini, Llama, Mistral, and Gemma
- Title（参考訳）: 学術著作における生成AI:DeepSeek、Qwen、ChatGPT、Gemini、Llama、Mistral、Gemmaの比較
- Authors: Omer Aydin, Enis Karaarslan, Fatih Safa Erenay, Nebojsa Bacanin,
- Abstract要約: フリーでオープンソースのモデルは、学術的な執筆とコンテンツ制作に大きな可能性を秘めている。
本研究は、ChatGPT、Gemini、Llama、Mistral、Gemmaと比較することにより、学術的な筆記性能を評価する。
生成されたコンテンツは、プラジャリズム検出、AI検出、単語数比較、意味的類似性、可読性評価を用いて分析された。
- 参考スコア（独自算出の注目度）: 0.9562145896371785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: DeepSeek v3, developed in China, was released in December 2024, followed by Alibaba's Qwen 2.5 Max in January 2025 and Qwen3 235B in April 2025. These free and open-source models offer significant potential for academic writing and content creation. This study evaluates their academic writing performance by comparing them with ChatGPT, Gemini, Llama, Mistral, and Gemma. There is a critical gap in the literature concerning how extensively these tools can be utilized and their potential to generate original content in terms of quality, readability, and effectiveness. Using 40 papers on Digital Twin and Healthcare, texts were generated through AI tools based on posed questions and paraphrased abstracts. The generated content was analyzed using plagiarism detection, AI detection, word count comparisons, semantic similarity, and readability assessments. Results indicate that paraphrased abstracts showed higher plagiarism rates, while question-based responses also exceeded acceptable levels. AI detection tools consistently identified all outputs as AI-generated. Word count analysis revealed that all chatbots produced a sufficient volume of content. Semantic similarity tests showed a strong overlap between generated and original texts. However, readability assessments indicated that the texts were insufficient in terms of clarity and accessibility. This study comparatively highlights the potential and limitations of popular and latest large language models for academic writing. While these models generate substantial and semantically accurate content, concerns regarding plagiarism, AI detection, and readability must be addressed for their effective use in scholarly work.
- Abstract（参考訳）: 中国で開発されたDeepSeek v3は2024年12月にリリースされ、その後2025年1月にAlibabaのQwen 2.5 Max、2025年4月にQwen3 235Bがリリースされた。
これらのフリーでオープンソースのモデルは、学術的な執筆やコンテンツ制作に大きな可能性を秘めている。
本研究は、ChatGPT、Gemini、Llama、Mistral、Gemmaと比較することにより、学術的な筆記性能を評価する。
これらのツールがどの程度広く利用できるか、また、品質、可読性、有効性の観点から、オリジナルコンテンツを生成できる可能性について、文献に重大なギャップがある。
デジタルツインとヘルスケアに関する40の論文を使用して、提案された質問と言い換えられた要約に基づいて、AIツールを通じてテキストが生成される。
生成されたコンテンツは、プラジャリズム検出、AI検出、単語数比較、意味的類似性、可読性評価を用いて分析された。
以上の結果から, パラフレーズ抽象語は高い盗作率を示し, 質問応答は許容されるレベルを超えていた。
AI検出ツールは、すべての出力をAI生成として一貫して識別する。
ワードカウント分析により、すべてのチャットボットが十分な量のコンテンツを生み出したことが明らかとなった。
意味的類似性テストでは、生成されたテキストとオリジナルのテキストの間に強い重複が見られた。
しかし,可読性評価の結果,テキストの明瞭度やアクセシビリティの面では不十分であることが示唆された。
本研究は,学術著作における人気言語モデルと最新の大規模言語モデルの可能性と限界を,比較的に強調する。
これらのモデルは、実質的で意味論的に正確な内容を生成するが、学術的な研究で効果的に利用するためには、盗作、AI検出、可読性に関する懸念に対処する必要がある。
関連論文リスト
- Robust and Fine-Grained Detection of AI Generated Texts [0.29569362468768806]
既存のシステムは、短いテキストよりもAI生成したコンテンツを正確に識別するのに苦労することが多い。
本稿では,トークン分類のタスクのために構築されたモデルについて紹介する。
また,23言語以上のプロプライエタリなLLMが主に共著する2.4M以上のテキストのデータセットも導入した。
論文 参考訳（メタデータ） (2025-04-16T10:29:30Z) - Approaching the Limits to EFL Writing Enhancement with AI-generated Text and Diverse Learners [3.2668433085737036]
生徒は、自分の言葉をAI生成テキストと統合することで、テキストを構成することができる。
本研究は,香港の59人の中学生がAI生成テキストと対話し,特集記事を構成する方法を検討した。
論文 参考訳（メタデータ） (2025-03-01T06:29:00Z) - Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing [55.2480439325792]
誤分類は、偽の盗作行為の告発や、オンラインコンテンツにおけるAIの普及に関する誤解を招く可能性がある。
我々は、AI-Polished-Text Evaluationデータセットを用いて、最先端の11のAIテキスト検出を体系的に評価した。
我々の発見によると、検出器は、最小限に磨き上げられたテキストをAI生成と誤分類し、AIの関与度を区別し、古いモデルと小さなモデルに偏見を示す。
論文 参考訳（メタデータ） (2025-02-21T18:45:37Z) - Leveraging Explainable AI for LLM Text Attribution: Differentiating Human-Written and Multiple LLMs-Generated Text [1.1137087573421256]
本研究では,生成型AI大言語モデルを用いて生成されたテキストコンテンツの検出と識別を支援することを目的とする。
我々はランダムフォレスト(RF)やリカレントニューラルネットワーク(RNN)などの機械学習アルゴリズムを利用して、属性の重要な特徴を理解する。
本手法は,1) 人文とAIテキストを区別するバイナリ分類と,2) 人文と5種類のLDMツールで生成するテキストを区別するマルチ分類に分けられる。
論文 参考訳（メタデータ） (2025-01-06T18:46:53Z) - GigaCheck: Detecting LLM-generated Content [72.27323884094953]
本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。
本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。
具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
論文 参考訳（メタデータ） (2024-10-31T08:30:55Z) - Towards Possibilities & Impossibilities of AI-generated Text Detection:
A Survey [97.33926242130732]
大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。
これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。
これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
論文 参考訳（メタデータ） (2023-10-23T18:11:32Z) - SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。
次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
論文 参考訳（メタデータ） (2023-10-13T07:18:53Z) - MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。
我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。
問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
論文 参考訳（メタデータ） (2023-05-22T17:13:29Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳（メタデータ） (2023-04-10T17:47:39Z) - Exploring AI-Generated Text in Student Writing: How Does AI Help? [0.0]
これらの学生の執筆において、AIが生成したテキストがどの程度高品質な執筆に繋がるかは、まだ不明である。
香港の23人の中学生が自語とAI生成テキストからなる物語を書こうと試みた。
論文 参考訳（メタデータ） (2023-03-10T14:36:47Z) - A Benchmark Corpus for the Detection of Automatically Generated Text in
Academic Publications [0.02578242050187029]
本稿では,人工的な研究内容からなる2つのデータセットについて述べる。
第1のケースでは、コンテンツはオリジナルの論文から短いプロンプトを抽出した後、GPT-2モデルで完全に生成される。
部分的あるいはハイブリッドなデータセットは、いくつかの抽象文をArxiv-NLPモデルによって生成される文に置き換えることで生成される。
BLEU や ROUGE などの流速指標を用いて,生成したテキストと整列した原文とを比較し,データセットの品質を評価する。
論文 参考訳（メタデータ） (2022-02-04T08:16:56Z) - A Survey of Knowledge-Enhanced Text Generation [81.24633231919137]
テキスト生成の目標は、機械を人間の言語で表現できるようにすることである。
入力テキストを出力テキストにマッピングすることを学ぶことで、目的を達成するために、様々なニューラルエンコーダデコーダモデルが提案されている。
この問題に対処するために、研究者は入力テキスト以外の様々な種類の知識を生成モデルに組み込むことを検討してきた。
論文 参考訳（メタデータ） (2020-10-09T06:46:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。