論文の概要: ArXivBench: When You Should Avoid Using ChatGPT for Academic Writing

• arxiv url: http://arxiv.org/abs/2504.10496v2
• Date: Thu, 07 Aug 2025 08:26:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 16:47:38.858278
• Title: ArXivBench: When You Should Avoid Using ChatGPT for Academic Writing
• Title（参考訳）: ArXivBench: 学術書記にChatGPTを使うのは避けるべき
• Authors: Ning Li, Jingran Zhang, Justin Cui,
• Abstract要約: 大規模言語モデル(LLM)は推論と質問応答において強力な能力を示す。 事実的に誤ったコンテンツを生み出す傾向は、依然として重要な課題である。 本研究は,arXivの正確なリンクを持つ関連研究論文を生成するための,プロプライエタリかつオープンソース LLM の評価を行う。
• 参考スコア（独自算出の注目度）: 6.586119023242877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) demonstrate strong capabilities in reasoning and question answering, yet their tendency to generate factually incorrect content remains a critical challenge. This study evaluates proprietary and open-source LLMs on generating relevant research papers with accurate arXiv links. Our evaluation reveals critical academic risks: LLMs frequently generate incorrect arXiv links or references to non-existent papers, fundamentally undermining their ability to properly attribute research contributions to the actual authors. We introduce arXivBench, a benchmark specifically designed to assess LLM performance across eight major subject categories on arXiv and five subfields within computer science, one of the most popular categories among them. Our findings show concerning accuracy variations across subjects, with Claude-3.5-Sonnet exhibiting a substantial advantage in generating both relevant and accurate responses. Notably, most LLMs perform significantly better in Artificial Intelligence than other subfields. This benchmark provides a standardized tool for evaluating LLM reliability in scientific contexts, promoting more dependable academic use in research environments. Our code and dataset are available at https://github.com/liningresearch/arXivBench and https://huggingface.co/datasets/arXivBenchLLM/arXivBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)は推論や質問応答において強力な能力を示すが、事実的に誤ったコンテンツを生成する傾向は依然として重要な課題である。 本研究は,arXivの正確なリンクを持つ関連研究論文を生成するための,プロプライエタリかつオープンソース LLM の評価を行う。 LLMは、誤ったarXivリンクや、既存の論文への参照を頻繁に生成し、研究貢献を実際の著者に適切に帰属させる能力を根本的に損なう。 arXivBenchは,計算機科学の8つの分野と5つのサブフィールドにまたがるLLM性能を評価するためのベンチマークである。 以上より,Claude-3.5-Sonnetは関連する応答と正確な応答の両方に有意な優位性を示した。 特に、ほとんどのLLMは、他のサブフィールドよりも人工知能においてかなり優れています。 このベンチマークは、科学的な文脈でLLMの信頼性を評価するための標準化されたツールを提供し、研究環境におけるより信頼性の高い学術的利用を促進する。 私たちのコードとデータセットはhttps://github.com/liningresearch/arXivBenchとhttps://huggingface.co/datasets/arXivBenchLLM/arXivBenchで利用可能です。

関連論文リスト

• Reviewing Scientific Papers for Critical Problems With Reasoning LLMs: Baseline Approaches and Automatic Evaluation [0.552480439325792]
  本稿では,いくつかのベースラインアプローチと,トップ推論 LLM を判断として用いた拡張可能な自動評価フレームワークを提案する。 O3は、全てのモデルで最低限のコストで、最高の問題識別性能を示した。 本稿では,文書に基づく科学的理解・推論に関する知見を提供し,今後の応用の基盤となる。
  論文  参考訳（メタデータ） (2025-05-28T06:14:30Z)
• Can LLMs Generate Tabular Summaries of Science Papers? Rethinking the Evaluation Protocol [83.90769864167301]
  文献レビュー表は、科学論文の集合を要約し比較するために欠かせないものである。 学術論文の収集にあたり,ユーザの情報ニーズを最大限に満たす表を作成するタスクについて検討する。 我々の貢献は、現実世界で遭遇する3つの重要な課題に焦点を当てている: (i)ユーザープロンプトは、しばしば未特定である; (ii)検索された候補論文は、しばしば無関係な内容を含む; (iii)タスク評価は、浅いテキスト類似性技術を超えて進むべきである。
  論文  参考訳（メタデータ） (2025-04-14T14:52:28Z)
• Citegeist: Automated Generation of Related Work Analysis on the arXiv Corpus [0.0]
  Citegeist: arXiv Corpus上の動的検索拡張生成(RAG)を用いたアプリケーションパイプラインについて述べる。 この目的のために、埋め込みに基づく類似性マッチング、要約、多段階フィルタリングの混合を用いる。 文書基盤の継続的な成長に適応するために、新しい文書や修正文書を組み込む最適化された方法を提案する。
  論文  参考訳（メタデータ） (2025-03-29T21:19:43Z)
• ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition [67.26124739345332]
  大規模言語モデル(LLM)は科学的研究を支援する可能性を示しているが、高品質な研究仮説を発見する能力はいまだ検討されていない。 我々は,LLMを科学的発見のサブタスクのほぼ十分セットで評価するための,最初の大規模ベンチマークを紹介する。 学術論文から重要コンポーネント(研究質問、背景調査、インスピレーション、仮説)を抽出する自動フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-03-27T08:09:15Z)
• Highlighting Case Studies in LLM Literature Review of Interdisciplinary System Science [0.18416014644193066]
  大型言語モデル(LLM)は、4人のコモンウェルス科学産業研究機関(CSIRO)研究者を支援するために使用された。 系統的な文献レビューのためのLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2025-03-16T05:52:18Z)
• Latent Factor Models Meets Instructions:Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
  AoPS-Instructは60,000以上の高品質QAペアのデータセットである。 LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。 我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
  論文  参考訳（メタデータ） (2025-01-24T06:39:38Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• SciEx: Benchmarking Large Language Models on Scientific Exams with Human Expert Grading and Automatic Grading [100.02175403852253]
  LLM(Large Language Models)の一般的な用途は、科学的トピックに関するタスクを実行することである。 そこで本稿では,大学生のこのような課題に対する評価方法に着想を得たSciExを提案する。 我々は,新しいベンチマークを用いて,最先端のLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2024-06-14T21:52:21Z)
• Large Language Models Memorize Sensor Datasets! Implications on Human Activity Recognition Research [0.23982628363233693]
  本研究では,Large Language Models (LLMs) が,訓練中にHAR(Human Activity Recognition)データセットにアクセス可能かどうかを検討する。 ほとんどの現代のLLMは、事実上(アクセス可能な)インターネット上でトレーニングされています。 特にダフネットデータセットでは、GPT-4はセンサー読み取りのブロックを再現することができる。
  論文  参考訳（メタデータ） (2024-06-09T19:38:27Z)
• Attribution in Scientific Literature: New Benchmark and Methods [41.64918533152914]
  大規模言語モデル(LLM)は、科学的コミュニケーションにおいて、自動ソース引用のための有望だが挑戦的なフロンティアを提供する。 本稿では、arXivから12の科学領域にまたがる文レベルのアノテーションを備えた新しいデータセットREASONSを紹介する。 我々は、GPT-O1、GPT-4O、GPT-3.5、DeepSeekなどのモデルや、Perplexity AI (7B)のような他の小さなモデルで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-05-03T16:38:51Z)
• Mapping the Increasing Use of LLMs in Scientific Papers [99.67983375899719]
  2020年1月から2024年2月にかけて、arXiv、bioRxiv、Natureのポートフォリオジャーナルで950,965の論文をまとめて、体系的で大規模な分析を行った。 計算機科学の論文では, LLMの使用が着実に増加し, 最大, 最速の成長が観察された。
  論文  参考訳（メタデータ） (2024-04-01T17:45:15Z)
• UFO: a Unified and Flexible Framework for Evaluating Factuality of Large Language Models [73.73303148524398]
  大規模言語モデル(LLM)は、人間の知識との整合性に欠けるテキストを生成し、事実的不正確さやテキスト・ハロシン化をもたらす。 プラグアンドプレイのファクトソースに対する事実を検証するための,LLMに基づく統一的かつ柔軟な評価フレームワークである textttUFO を提案する。
  論文  参考訳（メタデータ） (2024-02-22T16:45:32Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• SciEval: A Multi-Level Large Language Model Evaluation Benchmark for Scientific Research [11.816426823341134]
  これらの問題に対処するための総合的・多分野評価ベンチマークSciEvalを提案する。 ブルームの分類に基づいて、SciEvalは科学的研究能力を体系的に評価する4つの次元をカバーしている。 主観的質問も主観的質問もSciEvalに含まれる。
  論文  参考訳（メタデータ） (2023-08-25T03:05:33Z)
• Large Language Models for Software Engineering: A Systematic Literature Review [34.12458948051519]
  大規模言語モデル(LLM)は、ソフトウェア工学(SE)を含む多くの領域に大きな影響を与えている。 我々は、2017年1月から2024年1月までの395件の研究論文を選定、分析し、4つの重要な研究質問(RQ)に答える。 これらのRQに対する回答から、現在の最先端とトレンド、既存の研究のギャップの特定、今後の研究に向けた有望な領域のフラグ付けなどについて論じる。
  論文  参考訳（メタデータ） (2023-08-21T10:37:49Z)
• NLLG Quarterly arXiv Report 06/23: What are the most influential current AI Papers? [15.830129136642755]
  目的は、最も関連性があり広く議論されている研究のクイックガイドを提供することであり、新参者や確立された研究者が現在の傾向を振り返り続けるのを助けることである。 我々は2023年前半に,大規模言語モデル(LLM),特にChatGPTに関連する論文の優位性を観察した。 NLP関連の論文は、私たちのデータにはML関連の論文の2倍の数の論文があるにもかかわらず、最も影響力がある(トップ論文の約60%)。
  論文  参考訳（メタデータ） (2023-07-31T11:53:52Z)
• LeanDojo: Theorem Proving with Retrieval-Augmented Language Models [72.54339382005732]
  大規模言語モデル(LLM)は、Leanのような証明アシスタントを使って形式的な定理を証明することを約束している。 既存のメソッドは、プライベートコード、データ、計算要求のために、複製や構築が難しい。 本稿では、ツールキット、データ、モデルからなるオープンソースのリーンツールキットであるLeanDojoを紹介します。 本研究では,LLM ベースの証明器 ReProver を開発した。
  論文  参考訳（メタデータ） (2023-06-27T17:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。