論文の概要: BAGELS: Benchmarking the Automated Generation and Extraction of Limitations from Scholarly Text

• arxiv url: http://arxiv.org/abs/2505.18207v1
• Date: Thu, 22 May 2025 06:04:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.204619
• Title: BAGELS: Benchmarking the Automated Generation and Extraction of Limitations from Scholarly Text
• Title（参考訳）: BAGELS:Scholarly Textから自動生成と制限抽出のベンチマーク
• Authors: Ibrahim Al Azher, Miftahul Jannat Mokarrama, Zhishuai Guo, Sagnik Ray Choudhury, Hamed Alhoori,
• Abstract要約: 科学的研究において、制限とは研究における欠点、制約、弱点を指す。 著者は、しばしばa) 論文のテキストにそれらを下書きし、b) 編集要件を満たすためにヘッジ戦略を使用する。 この過度に報告された行動は、出版物の爆発と共に、そのような制限を自動で抽出したり、生成したりする必要が迫られている。
• 参考スコア（独自算出の注目度）: 6.682911432177815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In scientific research, limitations refer to the shortcomings, constraints, or weaknesses within a study. Transparent reporting of such limitations can enhance the quality and reproducibility of research and improve public trust in science. However, authors often a) underreport them in the paper text and b) use hedging strategies to satisfy editorial requirements at the cost of readers' clarity and confidence. This underreporting behavior, along with an explosion in the number of publications, has created a pressing need to automatically extract or generate such limitations from scholarly papers. In this direction, we present a complete architecture for the computational analysis of research limitations. Specifically, we create a dataset of limitations in ACL, NeurIPS, and PeerJ papers by extracting them from papers' text and integrating them with external reviews; we propose methods to automatically generate them using a novel Retrieval Augmented Generation (RAG) technique; we create a fine-grained evaluation framework for generated limitations; and we provide a meta-evaluation for the proposed evaluation techniques.
• Abstract（参考訳）: 科学的研究において、制限とは研究における欠点、制約、弱点を指す。 このような制約を透過的に報告することで、研究の質と再現性を高め、科学に対する大衆の信頼を高めることができる。 しかし、しばしば作者が登場する。 a) 紙本文にその旨を記入し、 ロ 読者の明快さ及び自信を犠牲にして、編集要件を満たすため、ヘッジ戦略を使用すること。 この過度に報道される行動は、出版物の爆発と共に、学術論文からそのような制限を自動抽出したり、生成したりする必要性を増している。 この方向では、研究限界の計算解析のための完全なアーキテクチャを提案する。 具体的には,ACL,NeurIPS,PeerJ論文の制約のデータセットを論文のテキストから抽出し,外部レビューと統合することにより作成し,新たなRAG(Retrieval Augmented Generation)技術を用いて自動生成する手法を提案する。

関連論文リスト

• WritingBench: A Comprehensive Benchmark for Generative Writing [87.48445972563631]
  writeBenchは、6つのコア書き込みドメインと100の技術的記述を含む大規模言語モデル(LLM)を評価するために設計されたベンチマークである。 本稿では、LCMがインスタンス固有の評価基準を動的に生成することを可能にするクエリ依存評価フレームワークを提案する。 このフレームワークは、基準対応スコアリングのための微調整された批評家モデルによって補完され、スタイル、フォーマット、長さの評価を可能にする。
  論文  参考訳（メタデータ） (2025-03-07T08:56:20Z)
• Is Your Paper Being Reviewed by an LLM? Benchmarking AI Text Detection in Peer Review [6.20631177269082]
  ピアレビュープロセスに対する新たなリスクは、Negligentレビュアーが論文をレビューするために大きな言語モデル(LLM)に依存することだ。 我々は、AIで書かれたピアレビューを、対応する人間のレビューと組み合わせた合計788,984件の包括的データセットを導入する。 我々は、この新たなリソースを使用して、既存の18のAIテキスト検出アルゴリズムが、人間が完全に書いたピアレビューと、最先端のLLMを区別する能力を評価する。
  論文  参考訳（メタデータ） (2025-02-26T23:04:05Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• Automating Bibliometric Analysis with Sentence Transformers and Retrieval-Augmented Generation (RAG): A Pilot Study in Semantic and Contextual Search for Customized Literature Characterization for High-Impact Urban Research [2.1728621449144763]
  文献分析は、都市科学における研究動向、スコープ、影響を理解するために不可欠である。 キーワード検索に依存する伝統的な手法は、記事のタイトルやキーワードに明記されていない価値ある洞察を明らかにするのに失敗することが多い。 我々は、生成AIモデル、特にトランスフォーマーとレトリーバル拡張生成(RAG)を活用して、バイオロメトリ分析の自動化と強化を行う。
  論文  参考訳（メタデータ） (2024-10-08T05:13:27Z)
• Automated Review Generation Method Based on Large Language Models [8.86304208754684]
  大規模言語モデル(LLM)に基づく自動レビュー生成手法を提案する。 提案手法は高速に343項目を解析し,LLMアカウント1項目あたり平均秒を計測し,35項目にわたる総合的なレビューを行い,1041項目を拡張分析した。
  論文  参考訳（メタデータ） (2024-07-30T15:26:36Z)
• LimGen: Probing the LLMs for Generating Suggestive Limitations of Research Papers [8.076841611508488]
  本稿では,研究論文におけるSLG(Suggestive Limitation Generation)の新たな課題について紹介する。 我々は textbftextitLimGen というデータセットをコンパイルし、4068 の研究論文とそれに関連する ACL アンソロジーの制限を包含する。
  論文  参考訳（メタデータ） (2024-03-22T17:31:43Z)
• Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
  本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。 本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。 その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-25T03:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。