論文の概要: Generative AI in Academic Writing: A Comparison of DeepSeek, Qwen, ChatGPT, Gemini, Llama, Mistral, and Gemma

• arxiv url: http://arxiv.org/abs/2503.04765v1
• Date: Tue, 11 Feb 2025 18:33:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-16 10:18:15.898495
• Title: Generative AI in Academic Writing: A Comparison of DeepSeek, Qwen, ChatGPT, Gemini, Llama, Mistral, and Gemma
• Title（参考訳）: 学術著作における生成AI:DeepSeek、Qwen、ChatGPT、Gemini、Llama、Mistral、Gemmaの比較
• Authors: Omer Aydin, Enis Karaarslan, Fatih Safa Erenay, Nebojsa Bacanin,
• Abstract要約: Alibabaは2025年1月29日にAIモデルであるQwen 2.5 Maxをリリースした。 本研究は,Qwen 2.5 MaxとDeepSeek v3の両方の学術書記性能を評価することを目的とする。
• 参考スコア（独自算出の注目度）: 0.9562145896371785
• License:
• Abstract: Deepseek and Qwen LLMs became popular at the beginning of 2025 with their low-cost and open-access LLM solutions. A company based in Hangzhou, Zhejiang, China, announced its new LLM, DeepSeek v3, in December 2024. Then, Alibaba released its AI model, Qwen 2.5 Max, on January 29, 2025. These tools, which are free and open-source have made a significant impact on the world. Deepseek and Qwen also have the potential to be used by many researchers and individuals around the world in academic writing and content creation. Therefore, it is important to determine the capacity of these new LLMs to generate high-quality academic content. This study aims to evaluate the academic writing performance of both Qwen 2.5 Max and DeepSeek v3 by comparing these models with popular systems such as ChatGPT, Gemini, Llama, Mistral, and Gemma. In this research, 40 articles on the topics of Digital Twin and Healthcare were used. The method of this study involves using generative AI tools to generate texts based on posed questions and paraphrased abstracts of these 40 articles. Then, the generated texts were evaluated through the plagiarism tool, AI detection tools, word count comparisons, semantic similarity tools and readability assessments. It was observed that plagiarism test result rates were generally higher for the paraphrased abstract texts and lower for the answers generated to the questions, but both were above acceptable levels. In the evaluations made with the AI detection tool, it was determined with high accuracy that all the generated texts were detected as AI-generated. In terms of the generated word count comparison, it was evaluated that all chatbots generated satisfactory amount of content. Semantic similarity tests show that the generated texts have high semantic overlap with the original texts. The readability tests indicated that the generated texts were not sufficiently readable.
• Abstract（参考訳）: DeepseekとQwen LLMは2025年初頭に、低コストでオープンなLLMソリューションで人気を博した。 中国江江省の杭州に本拠を置く同社は、2024年12月に新しいLLMであるDeepSeek v3を発表した。 その後、アリババは2025年1月29日にAIモデルであるQwen 2.5 Maxをリリースした。 無料かつオープンソースであるこれらのツールは、世界に大きな影響を与えている。 DeepseekとQwenは、世界中の多くの研究者や個人が学術的な執筆やコンテンツ制作に利用できる可能性を持っている。 したがって、これらの新たなLCMが高品質な学術コンテンツを生成する能力を決定することが重要である。 本研究の目的は,これらのモデルをChatGPT, Gemini, Llama, Mistral, Gemmaなどの人気システムと比較することにより,Qwen 2.5 MaxとDeepSeek v3の学術的記述性能を評価することである。 本研究では,デジタル双生児と医療に関する40の論文を用いた。 本研究は、生成AIツールを用いて、提案された質問とこれらの40記事のパラフレーズ付き要約に基づいてテキストを生成することを含む。 生成したテキストは、プラジャリズムツール、AI検出ツール、単語数比較、意味的類似性ツール、可読性アセスメントを通じて評価された。 その結果, 要約文では盗作試験の結果が概ね高く, 質問に対する回答は低かったが, いずれも許容されるレベル以上であった。 AI検出ツールを用いて行った評価では、生成されたすべてのテキストがAI生成として検出されたことを高精度に判定した。 生成した単語数の比較から,すべてのチャットボットが満足な量のコンテンツを生成したと評価した。 意味的類似性テストは、生成されたテキストが元のテキストと高い意味的重複を持つことを示す。 可読性テストは、生成されたテキストが十分に読めないことを示した。

関連論文リスト

• Leveraging Explainable AI for LLM Text Attribution: Differentiating Human-Written and Multiple LLMs-Generated Text [1.1137087573421256]
  本研究では,生成型AI大言語モデルを用いて生成されたテキストコンテンツの検出と識別を支援することを目的とする。 我々はランダムフォレスト(RF)やリカレントニューラルネットワーク(RNN)などの機械学習アルゴリズムを利用して、属性の重要な特徴を理解する。 本手法は,1) 人文とAIテキストを区別するバイナリ分類と,2) 人文と5種類のLDMツールで生成するテキストを区別するマルチ分類に分けられる。
  論文  参考訳（メタデータ） (2025-01-06T18:46:53Z)
• GigaCheck: Detecting LLM-generated Content [72.27323884094953]
  本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。 本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。 具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
  論文  参考訳（メタデータ） (2024-10-31T08:30:55Z)
• Exploration of Masked and Causal Language Modelling for Text Generation [6.26998839917804]
  本稿では,テキスト生成タスクにおける因果言語モデリング手法の広範な比較を行う。 まず、定量的な指標を用いて、コヒーレンスと文法的正当性を分析する定性的な人的評価を行う。 その結果、すべてのデータセットでテキスト生成において、CLMは一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-21T09:33:31Z)
• Towards Possibilities & Impossibilities of AI-generated Text Detection: A Survey [97.33926242130732]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。 これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。 これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
  論文  参考訳（メタデータ） (2023-10-23T18:11:32Z)
• SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
  大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。 次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:18:53Z)
• Towards Automatic Boundary Detection for Human-AI Collaborative Hybrid Essay in Education [10.606131520965604]
  本研究では,滅多に調査されていない現実的な環境下でのAIコンテンツ検出について検討する。 まず,人書きコンテンツとAI生成コンテンツ間の遷移点の同定として,検出タスクを定式化した。 次に、エンコーダトレーニングプロセス中にAI生成コンテンツと人書きコンテンツとを分離する2段階のアプローチを提案した。
  論文  参考訳（メタデータ） (2023-07-23T08:47:51Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Exploring AI-Generated Text in Student Writing: How Does AI Help? [0.0]
  これらの学生の執筆において、AIが生成したテキストがどの程度高品質な執筆に繋がるかは、まだ不明である。 香港の23人の中学生が自語とAI生成テキストからなる物語を書こうと試みた。
  論文  参考訳（メタデータ） (2023-03-10T14:36:47Z)
• A Benchmark Corpus for the Detection of Automatically Generated Text in Academic Publications [0.02578242050187029]
  本稿では,人工的な研究内容からなる2つのデータセットについて述べる。 第1のケースでは、コンテンツはオリジナルの論文から短いプロンプトを抽出した後、GPT-2モデルで完全に生成される。 部分的あるいはハイブリッドなデータセットは、いくつかの抽象文をArxiv-NLPモデルによって生成される文に置き換えることで生成される。 BLEU や ROUGE などの流速指標を用いて,生成したテキストと整列した原文とを比較し,データセットの品質を評価する。
  論文  参考訳（メタデータ） (2022-02-04T08:16:56Z)
• A Survey of Knowledge-Enhanced Text Generation [81.24633231919137]
  テキスト生成の目標は、機械を人間の言語で表現できるようにすることである。 入力テキストを出力テキストにマッピングすることを学ぶことで、目的を達成するために、様々なニューラルエンコーダデコーダモデルが提案されている。 この問題に対処するために、研究者は入力テキスト以外の様々な種類の知識を生成モデルに組み込むことを検討してきた。
  論文  参考訳（メタデータ） (2020-10-09T06:46:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。