論文の概要: LitXBench: A Benchmark for Extracting Experiments from Scientific Literature
- arxiv url: http://arxiv.org/abs/2604.07649v1
- Date: Wed, 08 Apr 2026 23:31:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.593862
- Title: LitXBench: A Benchmark for Extracting Experiments from Scientific Literature
- Title（参考訳）: LitXBench: 科学文献から実験を抽出するためのベンチマーク
- Authors: Curtis Chong, Jorge Colindres,
- Abstract要約: 本稿では,文献から実験を抽出するベンチマーク手法のフレームワークであるLitXBenchを紹介する。
また、19個の合金紙から1426個の全測定値からなる高密度ベンチマークLitXAlloyも提示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aggregating experimental data from papers enables materials scientists to build better property prediction models and to facilitate scientific discovery. Recently, interest has grown in extracting not only single material properties but also entire experimental measurements. To support this shift, we introduce LitXBench, a framework for benchmarking methods that extract experiments from literature. We also present LitXAlloy, a dense benchmark comprising 1426 total measurements from 19 alloy papers. By storing the benchmark's entries as Python objects, rather than text-based formats such as CSV or JSON, we improve auditability and enable programmatic data validation. We find that frontier language models, such as Gemini 3.1 Pro Preview, outperform existing multi-turn extraction pipelines by up to 0.37 F1. Our results suggest that this performance gap arises because extraction pipelines associate measurements with compositions rather than the processing steps that define a material.
- Abstract（参考訳）: 論文からの実験データを集約することで、材料科学者はより良い資産予測モデルを構築し、科学的な発見を容易にすることができる。
近年, 材料特性だけでなく, 実験結果全体の抽出への関心が高まっている。
このシフトをサポートするために,文献から実験を抽出する手法をベンチマークするフレームワークであるLitXBenchを紹介した。
また、19の合金紙から1426の合計測定値を含む高密度ベンチマークLitXAlloyも提示した。
CSVやJSONといったテキストベースのフォーマットではなく、ベンチマークのエントリをPythonオブジェクトとして格納することで、監査性を改善し、プログラムによるデータ検証を可能にします。
Gemini 3.1 Pro Previewのようなフロンティア言語モデルは、既存のマルチターン抽出パイプラインを最大0.37 F1で上回ります。
この性能差は, 抽出パイプラインが材料を定義する処理ステップではなく, 組成と測定を関連付けるため, 生じることが示唆された。
関連論文リスト
- From Papers to Property Tables: A Priority-Based LLM Workflow for Materials Data Extraction [1.0901176137697233]
本稿では, 構造的, ショットレベルの衝撃物理実験記録を自動的に抽出し, 再構成するための, 即時駆動型階層的ワークフローを提案する。
パイプラインは1ショット当たり37の実験的なフィールドをターゲットにし、3段階の優先順位戦略を適用した。
ワークフローの精度は94.93%(T1)、92.04%(T2)、83.49%(T3)、全体的な重み付け精度は94.69%であった。
論文 参考訳（メタデータ） (2026-04-08T20:37:17Z) - Reliable End-to-End Material Information Extraction from the Literature with Source-Tracked Multi-Stage Large Language Models [3.3552980412055216]
大規模言語モデルを用いた多段階情報抽出パイプラインを提案する。
実験によって報告された材料から構成、構造処理、特性にまたがる47の特徴を捉えている。
パイプラインは、反復抽出とソーストラッキングを統合して、正確性と信頼性を両立させる。
論文 参考訳（メタデータ） (2025-10-01T22:03:28Z) - A Reproducible, Scalable Pipeline for Synthesizing Autoregressive Model Literature [0.0]
自己回帰生成モデルは何千もの論文を生み出しており、手動による文献調査や再生研究はますます非現実的になっている。
パブリックリポジトリから候補文書を自動的に検索する,完全オープンソースで再現可能なパイプラインを提案する。
最大1000の論文のコーパスの実験では、8人のCPUワーカーによるほぼ直線的なスケーラビリティが実証されている。
論文 参考訳（メタデータ） (2025-08-06T16:33:20Z) - MOLE: Metadata Extraction and Validation in Scientific Papers Using LLMs [48.73595915402094]
MOLEは、アラビア語以外の言語のデータセットをカバーする科学論文からメタデータ属性を自動的に抽出するフレームワークである。
本手法では,複数の入力形式にまたがって文書全体を処理し,一貫した出力に対する堅牢な検証機構を組み込む。
論文 参考訳（メタデータ） (2025-05-26T10:31:26Z) - MatViX: Multimodal Information Extraction from Visually Rich Articles [6.349779979863784]
材料科学では、研究論文から構造化情報を抽出することで、新しい素材の発見を加速することができる。
textscMatViXは、324ドルのフル長の調査記事と1688ドルの複雑な構造化ファイルからなるベンチマークです。
これらのファイルは、テキスト、テーブル、フィギュアからフル長の文書から抽出され、MIEにとって包括的な課題となる。
論文 参考訳（メタデータ） (2024-10-27T16:13:58Z) - Accelerating materials discovery for polymer solar cells: Data-driven insights enabled by natural language processing [5.527358421206627]
本稿では, 高分子太陽電池ドナー/アクセプターペアの発見のための各種能動的学習手法のシミュレーションを行う。
提案手法は, 材料革新の15年間の加速に相当し, 発見時間を約75%短縮する可能性を示した。
論文 参考訳（メタデータ） (2024-02-29T18:54:46Z) - Improving Text Embeddings with Large Language Models [59.930513259982725]
合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。
我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。
実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
論文 参考訳（メタデータ） (2023-12-31T02:13:18Z) - Bag of Tricks for Training Data Extraction from Language Models [98.40637430115204]
公開データセットを用いてトレーニングデータ抽出を改善するための手法とベンチマーク手法について検討する。
実験結果から,これまで見過ごされていたいくつかのトリックが,トレーニングデータ抽出の成功に不可欠であることが示唆された。
論文 参考訳（メタデータ） (2023-02-09T06:46:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。