論文の概要: Self-prompting and cross-model consensus enable reproducible data extraction from scientific literature with large language models
- arxiv url: http://arxiv.org/abs/2608.19025v1
- Date: Wed, 19 Aug 2026 15:20:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.440717
- Title: Self-prompting and cross-model consensus enable reproducible data extraction from scientific literature with large language models
- Title（参考訳）: 自己プロンプティングとクロスモデルコンセンサスにより、大きな言語モデルを持つ科学文献から再現可能なデータ抽出が可能となる
- Abstract要約: ブラウザベースの大規模言語モデル(LLM)は、研究論文から高度に文脈化された情報を抽出する。
キュレーションの段階は、専門家によるキュレーションプロンプト、簡単な指示、文献の自律的な発見、新しいデータセットの4つである。
これらの知見は、専門家がエビデンス標準を規定し、モデルが繰り返し抽出を相互チェックし、研究者が紛争の解決を行う、監査可能な労働区分を定義している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurately extracting nuanced, contextualized data from research articles is laborious and time intensive. Here, we investigate the performance of frontier, browser-based large language models (LLMs) to extract highly contextualized information. We demonstrate four escalating workflows, 1) given an expert curated prompt and research articles, most frontier LLMs perform well at data extraction, however can struggle with interpreting scientific context and nuance, 2) given simple instructions, LLMs can author their own prompts which were almost as eNective as expert-written prompts, 3) autonomous discovery of research literature was diNicult, agents either missed or hallucinated references, and 4) LLMs can create new datasets from published guidelines that closely match human-expert judges, but still require a human-in-the-loop. Together, these findings define an auditable division of labour in which experts specify the evidence standard, models cross-check repeated extractions and researchers resolve disputed cases, providing a practical route to scaling scientific data curation without relinquishing expert oversight.
- Abstract（参考訳）: 研究論文から正確なニュアンス付き文脈化されたデータを正確に抽出することは、手間がかかり、時間を要する。
本稿では,ブラウザベース大規模言語モデル(LLM)の性能について検討し,高度に文脈化された情報抽出を行う。
ワークフローをエスカレートする4つの例を示します。
1) 専門家によるプロンプト及び研究論文が評価された場合、ほとんどのフロンティアLSMは、データ抽出において良好に機能するが、科学的文脈やニュアンスを理解するのに苦労する可能性がある。
2) 簡単な命令が与えられた場合,LSM は専門家によるプロンプトとほぼ同等のエネクティブな独自のプロンプトを作成できる。
3)研究文献の自律的発見はダイニカルトであり,エージェントは参照を見逃すか幻覚させるかのいずれかであり,
4) LLMは、人間専門家の判断に密接にマッチするが、それでも人間によるループを必要とするガイドラインから、新しいデータセットを作成することができる。
これらの知見は、専門家がエビデンス基準を規定し、モデルを相互に検証し、研究者が論争を解決し、専門家の監督を放棄することなく科学的データキュレーションをスケールするための実践的な方法を提供する、監査可能な労働部門を定義している。
関連論文リスト
- A Multi-Agent Human-LLM Collaborative Framework for Closed-Loop Scientific Literature Summarization [14.654160505140426]
我々は,AI,大規模言語モデル,人間科学者を統合したマルチエージェント・ヒューマン・イン・ザ・ループシステムであるElhuyarを紹介した。
このフレームワークは、論文のフィルタリング、データ抽出、フィッティングモデル、および要約結果のための特別エージェントにタスクを分散し、人間の監視が信頼性を確保する。
抽出されたデータ、視覚化、モデル方程式、テキスト要約を含む構造化されたレポートを生成し、反復的な精査を通じてより深い調査を可能にする。
論文 参考訳（メタデータ） (2026-04-01T22:58:42Z) - Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である
本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
論文 参考訳（メタデータ） (2026-03-05T18:42:51Z) - Who Gets Cited Most? Benchmarking Long-Context Language Models on Scientific Articles [81.89404347890662]
SciTrekは、科学論文を用いた大規模言語モデル(LLM)の長文推論能力を評価するために設計された、新しい質問応答ベンチマークである。
本分析により,モデルの基本的数値演算を行ない,特定の情報を長い文脈で正確に特定する能力において,系統的な欠点が明らかとなった。
論文 参考訳（メタデータ） (2025-09-25T11:36:09Z) - How Do LLM-Generated Texts Impact Term-Based Retrieval Models? [76.92519309816008]
本稿では,大規模言語モデル(LLM)が項ベース検索モデルに与える影響について検討する。
言語学的解析により,LLM生成テキストはよりスムーズで低周波なZipf勾配を示すことが明らかとなった。
本研究は,項分布がクエリと密接に一致した文書を優先して,項ベース検索モデルがソースバイアスを示すかどうかを考察する。
論文 参考訳（メタデータ） (2025-08-25T06:43:27Z) - Can AI Validate Science? Benchmarking LLMs for Accurate Scientific Claim $\rightarrow$ Evidence Reasoning [6.043212666944194]
CLAIM-BENCHは,科学的クレームエビデンス抽出と検証において,大規模言語モデルの能力を評価するためのベンチマークである。
GPT-4やClaudeのようなクローズドソースモデルは、精度とリコールにおいて、オープンソースモデルよりも一貫して優れています。
戦略的に設計された3つのパスと1対1のプロンプトアプローチは、分散した証拠とクレームを正確にリンクするLSMの能力を大幅に向上させた。
論文 参考訳（メタデータ） (2025-06-09T21:04:39Z) - Information-Guided Identification of Training Data Imprint in (Proprietary) Large Language Models [52.439289085318634]
情報誘導プローブを用いて,プロプライエタリな大規模言語モデル (LLM) で知られているトレーニングデータを識別する方法を示す。
我々の研究は、重要な観察の上に成り立っている: 高次数テキストパスは、暗記プローブにとって良い検索材料である。
論文 参考訳（メタデータ） (2025-03-15T10:19:15Z) - Human-artificial intelligence teaming for scientific information extraction from data-driven additive manufacturing research using large language models [3.0061386772253784]
近年,データ駆動型アダプティブ・マニュファクチャリング(AM)の研究は大きな成功を収めている。
この結果、多くの科学文献が誕生した。
これらの作品から科学的情報を取り出すにはかなりの労力と時間を要する。
本稿では,AMとAIの専門家が共同で,データ駆動型AM文献から科学情報を継続的に抽出するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-26T15:43:52Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [97.31347312130119]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning)は、トレーニングと評価のための137K命令フォローインスタンスのデータセットで、54のタスクをカバーする。
これらのタスクは、情報抽出、要約、質問応答、クレーム検証、分類の5つの中核的な科学文献理解能力にまたがる。
SciRIFFは、さまざまな科学分野にわたる研究文献から情報を抽出し、合成するための、完全に専門家によって書かれた高品質な命令追跡データセットである。
論文 参考訳（メタデータ） (2024-06-10T21:22:08Z) - Exploring the Latest LLMs for Leaderboard Extraction [0.3072340427031969]
本稿では, LLMs-ralMist 7B, Llama GPT-4-Turbo, GPT-4.o を用いて, 実験的なAI研究論文からリーダボード情報を抽出する方法について検討する。
本研究は,これらのモデルを用いて,研究論文からの4倍率(Task,Metric,Score)の生成性能を評価する。
論文 参考訳（メタデータ） (2024-06-06T05:54:45Z) - Had enough of experts? Quantitative knowledge retrieval from large language models [4.091195951668217]
大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。
我々は、専門家のような事前知識を抽出し、欠落したデータを出力することで、LLMを活用してベイズモデルを強化するフレームワークを導入する。
論文 参考訳（メタデータ） (2024-02-12T16:32:37Z) - INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
論文 参考訳（メタデータ） (2024-01-12T12:10:28Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳（メタデータ） (2023-05-30T22:05:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。