論文の概要: Comparative Analysis of OpenAI GPT-4o and DeepSeek R1 for Scientific Text Categorization Using Prompt Engineering

• arxiv url: http://arxiv.org/abs/2503.02032v1
• Date: Mon, 03 Mar 2025 20:09:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:54.920962
• Title: Comparative Analysis of OpenAI GPT-4o and DeepSeek R1 for Scientific Text Categorization Using Prompt Engineering
• Title（参考訳）: Prompt Engineering を用いた科学テキスト分類のための OpenAI GPT-4o と DeepSeek R1 の比較解析
• Authors: Aniruddha Maiti, Samuel Adewumi, Temesgen Alemayehu Tikure, Zichun Wang, Niladri Sengupta, Anastasiia Sukhanova, Ananya Jana,
• Abstract要約: GPT-4o(OpenAIによる)とDeepSeek R1を使用して、文を関係カテゴリに分類する。 DeepSeek R1は、ベンチマークデータセットでテストされているが、科学的テキスト分類のパフォーマンスはまだ明らかにされていない。 本課題に特化して設計された新しい評価手法を提案する。
• 参考スコア（独自算出の注目度）: 0.8166823398204147
• License:
• Abstract: This study examines how large language models categorize sentences from scientific papers using prompt engineering. We use two advanced web-based models, GPT-4o (by OpenAI) and DeepSeek R1, to classify sentences into predefined relationship categories. DeepSeek R1 has been tested on benchmark datasets in its technical report. However, its performance in scientific text categorization remains unexplored. To address this gap, we introduce a new evaluation method designed specifically for this task. We also compile a dataset of cleaned scientific papers from diverse domains. This dataset provides a platform for comparing the two models. Using this dataset, we analyze their effectiveness and consistency in categorization.
• Abstract（参考訳）: 本研究では,大規模言語モデルが素早い工学的手法を用いて,科学論文から文をいかに分類するかを検討する。 GPT-4o(OpenAIによる)とDeepSeek R1の2つの先進的なWebベースモデルを用いて、文を予め定義された関係カテゴリに分類する。 DeepSeek R1は、同社のテクニカルレポートでベンチマークデータセットでテストされている。 しかし、科学的テキスト分類におけるその業績は未解明のままである。 そこで我々は,この課題に特化して設計された新しい評価手法を提案する。 また、さまざまな領域からクリーンな科学論文のデータセットをコンパイルする。 このデータセットは、2つのモデルを比較するためのプラットフォームを提供する。 このデータセットを用いて、分類におけるそれらの有効性と一貫性を分析する。

関連論文リスト

• Introducing Three New Benchmark Datasets for Hierarchical Text Classification [0.0]
  研究出版分野において,HTCのベンチマークデータセットを新たに3つ導入する。 本稿では,データセットの信頼性とロバスト性を改善するために,それらの分類を組み合わせるアプローチを提案する。 クラスタリングに基づく分析によって作成した3つのデータセットを評価し,提案手法が高品質なデータセットを実現することを示す。
  論文  参考訳（メタデータ） (2024-11-28T13:06:48Z)
• Selecting Between BERT and GPT for Text Classification in Political Science Research [4.487884986288122]
  低データシナリオにおけるBERTモデルとGPTモデルの有効性を評価する。 パフォーマンス、使いやすさ、コストの観点から、これらのアプローチを比較して結論付けます。
  論文  参考訳（メタデータ） (2024-11-07T07:29:39Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Using Large Language Models to Enrich the Documentation of Datasets for Machine Learning [1.8270184406083445]
  大規模言語モデル(LLM)を用いて,文書から次元を自動的に抽出する戦略について検討する。 当社のアプローチは、データパブリッシャや実践者がマシン可読なドキュメントを作成するのに役立ちます。 我々は、我々のアプローチを実装するオープンソースツールと、実験のコードと結果を含むレプリケーションパッケージをリリースした。
  論文  参考訳（メタデータ） (2024-04-04T10:09:28Z)
• Interactive Distillation of Large Single-Topic Corpora of Scientific Papers [1.2954493726326113]
  より堅牢だが時間を要するアプローチは、主題の専門家が文書を手書きするデータセットを構成的に構築することである。 ここでは,学術文献のターゲットデータセットを構築的に生成するための,機械学習に基づく新しいツールを紹介する。
  論文  参考訳（メタデータ） (2023-09-19T17:18:36Z)
• Is GPT-4 a Good Data Analyst? [67.35956981748699]
  我々は、GPT-4を、広範囲のドメインのデータベースでエンドツーエンドのデータ分析を行うためのデータ分析であると考えている。 我々は,複数の専門家データアナリストとGPT-4のパフォーマンスを体系的に比較するために,タスク固有の評価指標を設計する。 実験の結果, GPT-4はヒトに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-05-24T11:26:59Z)
• News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
  GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。 我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
  論文  参考訳（メタデータ） (2022-09-26T01:04:52Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
  過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。 本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。 特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
  論文  参考訳（メタデータ） (2020-08-02T00:09:03Z)
• Deep Learning Based Text Classification: A Comprehensive Review [75.8403533775179]
  本稿では,近年開発されたテキスト分類のための150以上のディープラーニングモデルについてレビューする。 また、テキスト分類に広く使われている40以上の一般的なデータセットの要約も提供する。
  論文  参考訳（メタデータ） (2020-04-06T02:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。