論文の概要: GSAP-ERE: Fine-Grained Scholarly Entity and Relation Extraction Focused on Machine Learning

• arxiv url: http://arxiv.org/abs/2511.09411v1
• Date: Thu, 13 Nov 2025 01:52:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.556838
• Title: GSAP-ERE: Fine-Grained Scholarly Entity and Relation Extraction Focused on Machine Learning
• Title（参考訳）: GSAP-ERE:機械学習に焦点をあてた細粒度学習エンティティと関係抽出
• Authors: Wolfgang Otto, Lu Gan, Sharmila Upadhyaya, Saurav Karmakar, Stefan Dietze,
• Abstract要約: GSAP-EREは、10のエンティティタイプと18のセマンティックな分類された関係型を持つ、手動でキュレートされたきめ細かなデータセットである。 我々のデータセットは、下流タスクに関連する情報を自動的に抽出する微調整モデルを可能にする。 我々は、最先端のプロンプト手法の性能が、我々の最高の微調整モデルによって大きく改善されていることを観察する。
• 参考スコア（独自算出の注目度）: 6.628044635306078
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Research in Machine Learning (ML) and AI evolves rapidly. Information Extraction (IE) from scientific publications enables to identify information about research concepts and resources on a large scale and therefore is a pathway to improve understanding and reproducibility of ML-related research. To extract and connect fine-grained information in ML-related research, e.g. method training and data usage, we introduce GSAP-ERE. It is a manually curated fine-grained dataset with 10 entity types and 18 semantically categorized relation types, containing mentions of 63K entities and 35K relations from the full text of 100 ML publications. We show that our dataset enables fine-tuned models to automatically extract information relevant for downstream tasks ranging from knowledge graph (KG) construction, to monitoring the computational reproducibility of AI research at scale. Additionally, we use our dataset as a test suite to explore prompting strategies for IE using Large Language Models (LLM). We observe that the performance of state-of-the-art LLM prompting methods is largely outperformed by our best fine-tuned baseline model (NER: 80.6%, RE: 54.0% for the fine-tuned model vs. NER: 44.4%, RE: 10.1% for the LLM). This disparity of performance between supervised models and unsupervised usage of LLMs suggests datasets like GSAP-ERE are needed to advance research in the domain of scholarly information extraction.
• Abstract（参考訳）: 機械学習(ML)とAIの研究は急速に進化している。 学術出版物からの情報抽出(IE)は、大規模に研究概念や資源に関する情報を識別することができるため、ML関連の研究の理解と再現性を改善するための経路である。 ML関連の研究やegメソッドのトレーニング,データ利用などにおいて,詳細な情報を抽出し,接続するためにGSAP-EREを導入する。 10のエンティティタイプと18のセマンティック分類された関係タイプを備えた、手動でキュレートされたきめ細かいデータセットで、100のML出版物の全文から63Kエンティティと35Kリレーションの言及を含んでいる。 我々のデータセットは、知識グラフ(KG)構築から大規模AI研究の計算再現性監視まで、下流タスクに関連する情報を自動的に抽出することを可能にする。 さらに、我々のデータセットをテストスイートとして使用して、Large Language Models (LLM)を使用したIEの戦略の推進を探求しています。 現状のLLMプロンプト法の性能は,我々の最良微調整ベースラインモデル(NER: 80.6%,RE:54.0%,NER:44.4%,RE: 10.1%)で大きく向上している。 教師なしモデルと教師なしLLMの使い分けの違いは、学術情報抽出分野の研究を進めるためにはGSAP-EREのようなデータセットが必要であることを示唆している。

関連論文リスト

• Large Language Model-Based Agents for Automated Research Reproducibility: An Exploratory Study in Alzheimer's Disease [1.9938547353667109]
  我々は、National Alzheimer's Coordinating Centerの“Quick Access”データセットを使用しました。 NACCデータを用いて,高度に引用された論文を同定した。 コードの記述と実行を担当するLLMベースの自律エージェントのシミュレーション研究チームを作成しました。
  論文  参考訳（メタデータ） (2025-05-29T01:31:55Z)
• MOLE: Metadata Extraction and Validation in Scientific Papers Using LLMs [48.73595915402094]
  MOLEは、アラビア語以外の言語のデータセットをカバーする科学論文からメタデータ属性を自動的に抽出するフレームワークである。 本手法では,複数の入力形式にまたがって文書全体を処理し,一貫した出力に対する堅牢な検証機構を組み込む。
  論文  参考訳（メタデータ） (2025-05-26T10:31:26Z)
• Large Language Models and Synthetic Data for Monitoring Dataset Mentions in Research Papers [0.0]
  本稿では,研究領域間のデータセット参照検出を自動化する機械学習フレームワークを提案する。 我々は,研究論文からゼロショット抽出,品質評価のためのLCM-as-a-Judge,および改良のための推論剤を用いて,弱教師付き合成データセットを生成する。 推論では、ModernBERTベースの分類器がデータセットの参照を効率的にフィルタリングし、高いリコールを維持しながら計算オーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-02-14T16:16:02Z)
• Enhancing Knowledge Retrieval with In-Context Learning and Semantic Search through Generative AI [3.9773527114058855]
  本稿では,大規模言語モデルの生成能力とベクトルデータベースの高速かつ正確な検索能力を組み合わせた新しい手法を提案する。 開発したGTR(Generative Text Retrieval)は,非構造化データと構造化データの両方に適用可能である。 改良されたモデルであるGenerative Tabular Text Retrieval (GTR-T) は、大規模データベースクエリの効率を実証した。
  論文  参考訳（メタデータ） (2024-06-13T23:08:06Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [97.31347312130119]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning)は、トレーニングと評価のための137K命令フォローインスタンスのデータセットで、54のタスクをカバーする。 これらのタスクは、情報抽出、要約、質問応答、クレーム検証、分類の5つの中核的な科学文献理解能力にまたがる。 SciRIFFは、さまざまな科学分野にわたる研究文献から情報を抽出し、合成するための、完全に専門家によって書かれた高品質な命令追跡データセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• Using Large Language Models to Enrich the Documentation of Datasets for Machine Learning [1.8270184406083445]
  大規模言語モデル(LLM)を用いて,文書から次元を自動的に抽出する戦略について検討する。 当社のアプローチは、データパブリッシャや実践者がマシン可読なドキュメントを作成するのに役立ちます。 我々は、我々のアプローチを実装するオープンソースツールと、実験のコードと結果を含むレプリケーションパッケージをリリースした。
  論文  参考訳（メタデータ） (2024-04-04T10:09:28Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
  ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。 以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-09T11:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。