論文の概要: Benchmark for Structured Retrieval-Augmented Generation in Perovskite Photovoltaics

• arxiv url: http://arxiv.org/abs/2610.25575v1
• Date: Sun, 18 Oct 2026 22:37:23 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:01:34.517963
• Title: Benchmark for Structured Retrieval-Augmented Generation in Perovskite Photovoltaics
• Title（参考訳）: ペロブスカイト型太陽光発電における構造回復型発電のベンチマーク
• Abstract要約: 24GBのGPU上でオープンな14Bモデルを使用して、25,662の論文から158,274のパスで6つの検索アーキテクチャをベンチマークする。 標準パス検索は16-23%の精度でトップ(1.6-6.5%ゼロショット) 対照的に、構造化されたデバイステーブル上での読み取り専用sqlの実行を言語モデルに設定すると、履歴では51.5%、予測文学では50.8%の精度が向上する。
• 参考スコア（独自算出の注目度）: 0.7200655637873443
• License:
• Abstract: While retrieval-augmented language models increasingly serve as literature assistants in the physical sciences, existing benchmarks evaluate them primarily on qualitative text overlap or through model-based scoring rather than against verified experimental ground truth. In experimental materials disciplines such as perovskite photovoltaics, however, the most critical inquiries are inherently quantitative and aggregate measurements across dozens or hundreds of papers. Here, we present a quantitative question-answering benchmark where all 755 ground-truth answers are computed directly from 45,441 measured device records (40,889 human-curated records through 2021 and 4,552 records extracted from 2022-2026 literature). Benchmarking six retrieval architectures over 158,274 passages from 25,662 papers using an open 14B model on a single 24 GB GPU, standard passage retrieval tops out at 16-23% accuracy (compared to 1.6-6.5% zero-shot). In contrast, equipping the language model with read-only SQL execution over the structured device table elevates accuracy to 51.5% on historical and 50.8% on prospective literature -- a 33.01.8 percentage-point advantage over hybrid text retrieval. Aggregate queries spanning extrema, distributions, and filtered record counts prove virtually unsolvable via text retrieval alone, demonstrating that systematic table extraction is an operational prerequisite for literature-scale quantitative inquiry.
• Abstract（参考訳）: 検索強化言語モデルは、物理科学の文献アシスタントとしてますます機能するが、既存のベンチマークでは、主に定性的なテキストオーバーラップやモデルベースのスコアリングによって評価されている。 しかしながら、ペロブスカイト太陽電池のような実験的な材料分野において、最も重要な調査は本質的には数ダースまたは数百の論文にまたがる定量的かつ集合的な測定である。 本稿では,45,441件のデバイス記録(2021年から2026年までの40,889件,2022～2026年の文献から抽出した4,552件)から,755件の接地真実回答を直接計算した量的質問応答ベンチマークを提案する。 25,662枚の論文から158,274件の検索アーキテクチャをベンチマークし、24GBのGPU上で14Bのオープンモデルを使用して16-23%の精度(1.6-6.5%ゼロショット)で検索する。 対照的に、構造化されたデバイステーブル上での読み取り専用SQL実行を言語モデルに設定すると、正確さが51.5%、予測文学が50.8%向上し、ハイブリッドテキスト検索よりも33.01.8ポイントの利点がある。 エクストリーム、分布、フィルタリングされたレコード数にまたがる集約クエリは、テキスト検索だけでは事実上解決不可能であることが証明され、体系的なテーブル抽出が文献スケールの定量的調査の運用上の前提条件であることが証明された。

関連論文リスト

• Evaluating Open-Weight LLMs for Turkish Domain Documents Under Retrieval and Hardware Constraints [8.353600616465796]
  ほとんどのトルコ語対応の大規模言語モデル (LLM) は汎用ベンチマークを用いて評価される。 本稿では,資源制約のあるローカルデプロイメント環境下で,トルコ語文書質問応答のためのオープンウェイト7B-8Bモデルを5つ評価する。
  論文  参考訳（メタデータ） (2026-09-23T12:33:57Z)
• SciLitBench: Benchmark and Design Principles for LLM-Powered Systematic Literature Reviews [11.032420506181259]
  SciLitBenchはタイトルと抽象的なスクリーニング、フルテキストのスクリーニング、スキーマ誘導データ抽出のベンチマークである。 6つのモデルファミリーの22以上のオープンウェイトでは、明示的な包含基準と除外基準によりタイトルと抽象的なスクリーニングが28.8%向上した。 データ抽出は、パブリッシュ年で0.97の精度から計算アプローチで0.37のジャカードオーバーラップに性能が低下する。
  論文  参考訳（メタデータ） (2026-08-29T00:04:34Z)
• RepBench: Compiling Benchmarks into Capability Representations for Large Language Models [5.276992083399684]
  RepBenchは、機能整合型表現探索のためのベンチマーク地上データ層である。 13,427のベンチマーク論文は、13の家系で182の能力クラスタの分類を出力し、353の公開ベンチマークデータセットを収集すると、94の能力をカバーする46,149の監査済みプローブテキストが生成される。
  論文  参考訳（メタデータ） (2026-07-30T10:56:44Z)
• What Do Chinese-Language Generative Search Engines Cite and Surface? A Large-Scale Empirical Study [6.303656473095422]
  生成型AI質問回答システムは、情報アクセスを仲介し、検索結果から検索結果の検索、引用、結果の提示へとコンテンツの可視性をシフトする。 我々は,4つの主流プラットフォームのWebおよびAppインターフェースにおける中国語生成検索について,大規模な実証的研究を行った。 214,119の生記録から,160,860レコードのクリーニングされた引用レベルデータセットを構築し,引用行動,ソース属性,エンティティ露出,インターフェース間の整合性を解析した。
  論文  参考訳（メタデータ） (2026-07-17T09:03:12Z)
• Novelty-Aware Agentic Retrieval: Comparing Research Contributions Through Structured Multi-Step Reasoning [0.0]
  ノベルティ・アウェア・リサーチ・エージェント(英: Novelty-Aware Research Agent)は、エージェント検索システムのプロトタイプである。 RAGパイプライン上の多段階推論を6つのタイプドコントラクトコンポーネントを通じて階層化する。 論文毎のコントリビューション記録、紙レベルのオーバーラップ、問題xメソッドギャップマトリックスなど、構造化された比較アーティファクトを生成する。
  論文  参考訳（メタデータ） (2026-06-20T17:04:02Z)
• MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents [57.32877731797049]
  MultiHaystackは、大規模なクロスモーダル条件下での検索と推論の両方を評価するために設計された最初のベンチマークである。 モデルが対応するエビデンスを付与した場合,その性能は,全コーパスからそのエビデンスを取得するために必要な場合,急激に低下することがわかった。
  論文  参考訳（メタデータ） (2026-03-05T21:43:02Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• PART: Pre-trained Authorship Representation Transformer [52.623051272843426]
  文書を書く著者は、自分のテキストに識別情報を印字する。 以前の作品では、手作りの機能や分類タスクを使って著者モデルを訓練していた。 セマンティクスの代わりにテキストの埋め込みを学習するために、対照的に訓練されたモデルを提案する。
  論文  参考訳（メタデータ） (2022-09-30T11:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。