論文の概要: Detecting Reference Errors in Scientific Literature with Large Language Models

• arxiv url: http://arxiv.org/abs/2411.06101v1
• Date: Sat, 09 Nov 2024 07:30:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:10:21.893507
• Title: Detecting Reference Errors in Scientific Literature with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた科学文献における基準誤差の検出
• Authors: Tianmai M. Zhang, Neil F. Abernethy,
• Abstract要約: 本研究は,OpenAI の GPT ファミリーにおいて,引用誤りを検出するための大規模言語モデルの能力を評価する。 その結果,大規模言語モデルでは文脈が限定され,微調整を行なわずに誤引用を検出できることがわかった。
• 参考スコア（独自算出の注目度）: 0.552480439325792
• License:
• Abstract: Reference errors, such as citation and quotation errors, are common in scientific papers. Such errors can result in the propagation of inaccurate information, but are difficult and time-consuming to detect, posing a significant challenge to scientific publishing. To support automatic detection of reference errors, this work evaluated the ability of large language models in OpenAI's GPT family to detect quotation errors. Specifically, we prepared an expert-annotated, general-domain dataset of statement-reference pairs from journal articles. Large language models were evaluated in different settings with varying amounts of reference information provided by retrieval augmentation. Our results showed that large language models are able to detect erroneous citations with limited context and without fine-tuning. This study contributes to the growing literature that seeks to utilize artificial intelligence to assist in the writing, reviewing, and publishing of scientific papers. Potential avenues for further improvements in this task are also discussed.
• Abstract（参考訳）: 引用や引用の誤りなどの参照エラーは科学論文でよく見られる。 このような誤りは不正確な情報の伝播をもたらすが、検出が困難で時間を要するため、科学出版にとって大きな課題となる。 参照エラーの自動検出を支援するため、この研究はOpenAIのGPTファミリにある大規模な言語モデルがクォーテーションエラーを検出する能力を評価した。 具体的には,論文からの文参照ペアのエキスパートアノテート,一般ドメインデータセットを作成した。 検索拡張によって提供される参照情報の量が異なる設定で,大規模言語モデルの評価を行った。 その結果,大規模言語モデルでは文脈が限られ,微調整を行なわずに誤引用を検出できることがわかった。 本研究は, 学術論文の執筆, レビュー, 出版を支援するために, 人工知能を活用した文献の育成に寄与する。 このタスクのさらなる改善の可能性が議論されている。

関連論文リスト

• Modeling citation worthiness by using attention-based bidirectional long short-term memory networks and interpretable models [0.0]
  本稿では,注目機構と文脈情報を備えたBidirectional Long Short-Term Memory (BiLSTM) ネットワークを提案し,引用を必要とする文を検出する。 我々は、PubMed Open Access Subsetに基づく新しい大規模データセット(PMOA-CITE)を作成します。
  論文  参考訳（メタデータ） (2024-05-20T17:45:36Z)
• xCOMET: Transparent Machine Translation Evaluation through Fine-grained Error Detection [21.116517555282314]
  xCOMETは、機械翻訳評価アプローチのギャップを埋めるために設計されたオープンソースの学習メトリクスである。 文レベルの評価とエラースパン検出機能を統合し、あらゆるタイプの評価で最先端のパフォーマンスを示す。 また,ストレステストによるロバストネス解析を行い,xCOMETは局所的な臨界誤差や幻覚を同定できることを示す。
  論文  参考訳（メタデータ） (2023-10-16T15:03:14Z)
• On the application of Large Language Models for language teaching and assessment technology [18.735612275207853]
  我々は,AIによる言語教育とアセスメントシステムに大規模言語モデルを導入する可能性を検討する。 より大きな言語モデルは、テキスト生成における以前のモデルよりも改善されていることがわかった。 自動階調と文法的誤り訂正において、よく知られたベンチマークで進捗が確認されたタスクについては、初期の調査では、彼ら自身の大きな言語モデルが最先端の結果を改善していないことが示されている。
  論文  参考訳（メタデータ） (2023-07-17T11:12:56Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
  我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
  論文  参考訳（メタデータ） (2022-06-05T22:31:45Z)
• Deep Graph Learning for Anomalous Citation Detection [55.81334139806342]
  本稿では,新たな深層グラフ学習モデルであるGLAD(Graph Learning for Anomaly Detection)を提案する。 GLADフレームワーク内ではCPU(Citation PUrpose)と呼ばれるアルゴリズムが提案され,引用テキストに基づく引用の目的が明らかになった。
  論文  参考訳（メタデータ） (2022-02-23T09:05:28Z)
• When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
  談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する 文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。 談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-09-15T17:29:30Z)
• CiteWorth: Cite-Worthiness Detection for Improved Scientific Document Understanding [23.930041685595775]
  本研究は,文が外部ソースを引用するか否かをラベル付けした英語における引用親和性検出の詳細な研究である。 CiteWorthは高品質で、挑戦的で、ドメイン適応のような問題の研究に適している。
  論文  参考訳（メタデータ） (2021-05-23T11:08:45Z)
• Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
  イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。 これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。 本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
  論文  参考訳（メタデータ） (2020-10-26T13:57:20Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。