論文の概要: SciEvent: Benchmarking Multi-domain Scientific Event Extraction
- arxiv url: http://arxiv.org/abs/2509.15620v1
- Date: Fri, 19 Sep 2025 05:32:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-22 18:18:11.012659
- Title: SciEvent: Benchmarking Multi-domain Scientific Event Extraction
- Title（参考訳）: SciEvent: マルチドメイン科学イベント抽出のベンチマーク
- Authors: Bofu Dong, Pritesh Shah, Sumedh Sonawane, Tiyasha Banerjee, Erin Brady, Xinya Du, Ming Jiang,
- Abstract要約: SciEventは、統一イベント抽出(EE)スキーマを通じて注釈付けされた科学的な抽象化の、新しいマルチドメインベンチマークである。
5つの研究ドメインに500の抽象化があり、イベントセグメント、トリガー、きめ細かい引数のマニュアルアノテーションがある。
微調整されたEEモデル、大きな言語モデル(LLM)、人間アノテーションによる実験は、社会学や人文科学といった領域で苦労している現在のモデルと、パフォーマンスのギャップを明らかにしている。
- 参考スコア（独自算出の注目度）: 14.37001604445613
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific information extraction (SciIE) has primarily relied on entity-relation extraction in narrow domains, limiting its applicability to interdisciplinary research and struggling to capture the necessary context of scientific information, often resulting in fragmented or conflicting statements. In this paper, we introduce SciEvent, a novel multi-domain benchmark of scientific abstracts annotated via a unified event extraction (EE) schema designed to enable structured and context-aware understanding of scientific content. It includes 500 abstracts across five research domains, with manual annotations of event segments, triggers, and fine-grained arguments. We define SciIE as a multi-stage EE pipeline: (1) segmenting abstracts into core scientific activities--Background, Method, Result, and Conclusion; and (2) extracting the corresponding triggers and arguments. Experiments with fine-tuned EE models, large language models (LLMs), and human annotators reveal a performance gap, with current models struggling in domains such as sociology and humanities. SciEvent serves as a challenging benchmark and a step toward generalizable, multi-domain SciIE.
- Abstract（参考訳）: 科学情報抽出(SciIE)は主に狭い領域における実体関係抽出に依存しており、学際的な研究に適用可能であり、科学情報の必要なコンテキストを捉えるのに苦労している。
本稿では,SciEventについて紹介する。SciEventは,科学内容の構造的・文脈的理解を可能にする統一イベント抽出(EE)スキーマによって注釈付けされた,科学抽象のマルチドメインベンチマークである。
5つの研究ドメインに500の抽象化があり、イベントセグメント、トリガー、きめ細かい引数のマニュアルアノテーションがある。
我々は,SciIEを多段階のEEパイプラインとして定義する。(1)抽象概念を科学活動の中核に分割する - 背景,方法,結果,結論,そして(2)対応する引き金と引数を抽出する。
微調整されたEEモデル、大きな言語モデル(LLM)、人間アノテーションによる実験は、社会学や人文科学といった領域で苦労している現在のモデルと、パフォーマンスのギャップを明らかにしている。
SciEventは難しいベンチマークとして機能し、一般化可能なマルチドメインSciIEへの一歩となる。
関連論文リスト
- WildSci: Advancing Scientific Reasoning from In-the-Wild Literature [50.16160754134139]
我々は、ピアレビューされた文献から自動的に合成されるドメイン固有の科学質問の新しいデータセットWildSciを紹介する。
複雑な科学的推論タスクを複数選択形式でフレーミングすることにより、明確に定義された報酬信号によるスケーラブルなトレーニングを可能にする。
一連の科学的ベンチマークの実験は、我々のデータセットとアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2026-01-09T06:35:23Z) - Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows [203.3527268311731]
PIM(Practical Inquiry Model)に基づく運用SGI定義を提案する。
深層研究、アイデア生成、ドライ/ウェット実験、実験推論の4つのタスクを通じて運用しています。
私たちのPIMによる定義、ワークフロー中心のベンチマーク、実証的な洞察は、真に科学的な発見に参加するAIシステムの基盤を確立します。
論文 参考訳（メタデータ） (2025-12-18T12:44:36Z) - SciReasoner: Laying the Scientific Reasoning Ground Across Disciplines [112.78540935201558]
我々は、自然言語と異質な科学的表現を整合させる科学的推論基盤モデルを提案する。
このモデルは、科学的なテキスト、純粋なシーケンス、シーケンスとテキストのペアにまたがる206Bのコーパスで事前訓練され、4000万の命令でSFTを介してアライメントされる。
i) テキストと科学形式間の忠実な翻訳、(ii) テキスト/知識抽出、(iii) プロパティの予測、(iv) プロパティの分類、(v) 条件なしおよび条件付きシーケンスの生成と設計。
論文 参考訳（メタデータ） (2025-09-25T17:52:06Z) - SciGPT: A Large Language Model for Scientific Literature Understanding and Knowledge Discovery [3.779883844533933]
本稿では、科学文献理解のためのドメイン適応モデルSciGPTと、科学的LLMを評価するためのオープンソースベンチマークSciGPTを提案する。
Qwen3アーキテクチャ上に構築されたSciGPTには、パフォーマンスと効率のバランスをとるために、(1)2段階のパイプラインによる低コストなドメイン蒸留、(2)32,000の長期的推論のために、メモリ消費を55%削減するスパース混合処理の注意機構、(3)ドメイン固有のニュアンスを統合する知識認識適応の3つの革新が含まれている。
ScienceBenchの実験結果によると、SciGPTは配列を含む中核的な科学的タスクにおいてGPT-4oを上回っている。
論文 参考訳（メタデータ） (2025-09-09T16:09:19Z) - A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers [221.34650992288505]
科学大規模言語モデル(Sci-LLMs)は、科学研究において、知識の表現、統合、適用の方法を変えつつある。
この調査は、モデルとその基盤となるデータ基板の共進化として、Sci-LLMの開発を再考する。
我々は、科学的データの統一された分類法と、科学的知識の階層的なモデルを定式化する。
論文 参考訳（メタデータ） (2025-08-28T18:30:52Z) - Leveraging Large Language Models for Generating Research Topic Ontologies: A Multi-Disciplinary Study [0.8633013637160062]
本研究では,研究トピック間の意味的関係を識別する大規模言語モデルについて検討する。
実験の結果,PEM-Rel-8Kの微調整により,すべての分野において優れた性能が得られることがわかった。
論文 参考訳（メタデータ） (2025-08-28T11:53:45Z) - SciTopic: Enhancing Topic Discovery in Scientific Literature through Advanced LLM [19.949137890090814]
本稿では,大規模言語モデル(LLM)によって強化された高度なトピック発見手法を提案する。
具体的には、メタデータ、タイトル、要約を含む科学出版物からコンテンツをキャプチャするテキストエンコーダを構築する。
次に,LLMによって導かれるエントロピーに基づくサンプリングと三重項タスクを統合した空間最適化モジュールを構築する。
3つの実世界のデータセットで実施された実験は、SciTopicが最先端(SOTA)の科学的トピック発見方法より優れていることを示した。
論文 参考訳（メタデータ） (2025-08-28T07:55:06Z) - SciER: An Entity and Relation Extraction Dataset for Datasets, Methods, and Tasks in Scientific Documents [49.54155332262579]
我々は,科学論文のデータセット,メソッド,タスクに関連するエンティティに対して,新たなエンティティと関係抽出データセットをリリースする。
我々のデータセットには、24k以上のエンティティと12kの関係を持つ106の注釈付きフルテキストの科学出版物が含まれています。
論文 参考訳（メタデータ） (2024-10-28T15:56:49Z) - EXCEEDS: Extracting Complex Events as Connecting the Dots to Graphs in Scientific Domain [57.56639626657212]
我々は、科学領域に適したスキーマを備えた大規模マルチイベント文書レベルデータセットであるSciEventsを構築した。
そこで我々は,グリッドマトリックスに高密度ナゲットを格納することで,新しいエンドツーエンドの科学的イベント抽出フレームワークEXCEEDSを提案する。
実験により,SciEvents上でのEXCEEDSの最先端性能が実証された。
論文 参考訳（メタデータ） (2024-06-20T07:50:37Z) - A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。
我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
論文 参考訳（メタデータ） (2024-06-16T08:03:24Z) - SKT5SciSumm -- Revisiting Extractive-Generative Approach for Multi-Document Scientific Summarization [24.051692189473723]
マルチドキュメント科学要約(MDSS)のためのハイブリッドフレームワークSKT5SciSummを提案する。
我々は,Citation-Informed Transformer (SPECTER) を用いたScientific Paper Embeddingsの文変換バージョンを活用し,文のエンコードと表現を行う。
我々は、抽出文を用いて抽象要約を生成するために、T5モデルのファミリを用いる。
論文 参考訳（メタデータ） (2024-02-27T08:33:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。