Fugu-MT 論文翻訳(概要): Benchmarking Retrieval-Augmented Generation for Chemistry

論文の概要: Benchmarking Retrieval-Augmented Generation for Chemistry

arxiv url: http://arxiv.org/abs/2505.07671v1
Date: Mon, 12 May 2025 15:34:45 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-13 20:21:49.457545
Title: Benchmarking Retrieval-Augmented Generation for Chemistry
Title（参考訳）: 化学における検索検索生成のベンチマーク化
Authors: Xianrui Zhong, Bowen Jin, Siru Ouyang, Yanzhen Shen, Qiao Jin, Yin Fang, Zhiyong Lu, Jiawei Han,
Abstract要約: Retrieval-augmented Generationは、外部知識で大規模言語モデルを拡張するためのフレームワークである。 ChemRAG-Benchは、様々な化学関連タスクにおけるRAGの有効性を評価するために設計されたベンチマークである。 ChemRAG-Toolkitは,5つの検索アルゴリズムと8つのLLMをサポートするモジュールツールキットである。
参考スコア（独自算出の注目度）: 28.592844362931853
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval-augmented generation (RAG) has emerged as a powerful framework for enhancing large language models (LLMs) with external knowledge, particularly in scientific domains that demand specialized and dynamic information. Despite its promise, the application of RAG in the chemistry domain remains underexplored, primarily due to the lack of high-quality, domain-specific corpora and well-curated evaluation benchmarks. In this work, we introduce ChemRAG-Bench, a comprehensive benchmark designed to systematically assess the effectiveness of RAG across a diverse set of chemistry-related tasks. The accompanying chemistry corpus integrates heterogeneous knowledge sources, including scientific literature, the PubChem database, PubMed abstracts, textbooks, and Wikipedia entries. In addition, we present ChemRAG-Toolkit, a modular and extensible RAG toolkit that supports five retrieval algorithms and eight LLMs. Using ChemRAG-Toolkit, we demonstrate that RAG yields a substantial performance gain -- achieving an average relative improvement of 17.4% over direct inference methods. We further conduct in-depth analyses on retriever architectures, corpus selection, and the number of retrieved passages, culminating in practical recommendations to guide future research and deployment of RAG systems in the chemistry domain. The code and data is available at https://chemrag.github.io.
Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、特に専門的でダイナミックな情報を必要とする科学領域において、外部知識で大規模言語モデル(LLM)を拡張するための強力なフレームワークとして登場した。その約束にもかかわらず、RAGの化学領域への応用は、主に高品質でドメイン固有のコーパスと、十分に計算された評価ベンチマークが欠如しているため、未調査のままである。本稿では,様々な化学関連タスクに対してRAGの有効性を体系的に評価するための総合的なベンチマークであるChemRAG-Benchを紹介する。付随する化学コーパスは、科学文献、PubChemデータベース、PubMed抽象化、教科書、ウィキペディアエントリを含む異種知識ソースを統合している。さらに,5つの検索アルゴリズムと8つのLLMをサポートするモジュール型拡張可能なRAGツールキットであるChemRAG-Toolkitを提案する。 ChemRAG-Toolkitを用いて、RAGは、直接推論法よりも平均17.4%の相対的な改善を達成し、実質的なパフォーマンス向上をもたらすことを示した。さらに, 検索アーキテクチャ, コーパス選択, 検索パス数に関する詳細な分析を行い, 化学領域におけるRAGシステムの今後の研究・展開の指針として, 実用的な勧告を導いた。コードとデータはhttps://chemrag.github.io.comで公開されている。

関連論文リスト

ChemRxivQuest: A Curated Chemistry Question-Answer Database Extracted from ChemRxiv Preprints [0.0]
ChemRxivQuestは、17のサブフィールドにわたる155のChemRxivプリプリントから、高品質なQA(QA)ペア970のキュレートされたデータセットである。各QAペアは、トレーサビリティとコンテキスト精度を確保するために、ソーステキストセグメントに明示的にリンクされている。 ChemRxivQuestは光学文字認識(OCR)、GPT-4oベースのQA生成とファジィマッチング技術を組み合わせた自動パイプラインを用いて構築された。
論文参考訳（メタデータ） (2025-05-08T13:26:33Z)
HiPerRAG: High-Performance Retrieval Augmented Generation for Scientific Insights [72.82973609312178]
HiPerRAGは360万以上の科学論文から知識をインデクシングし取り出すワークフローである。コアとなるのはマルチモーダル文書解析のための高スループットモデルであるOreoと、クエリ対応エンコーダの微調整アルゴリズムであるColTrastだ。 HiPerRAGは、既存の科学的質問応答ベンチマークと、この研究で導入された2つの新しいベンチマークで堅牢なパフォーマンスを提供する。
論文参考訳（メタデータ） (2025-05-07T22:50:23Z)
ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning [64.2106664137118]
ChemAgentは,大規模言語モデル(LLM)の性能向上を目的とした,新しいフレームワークである。化学タスクをサブタスクに分解し、これらのサブタスクを将来のクエリに参照可能な構造化されたコレクションにコンパイルすることで開発される。新しい問題を提示すると、ChemAgentは、私たちがメモリと呼ぶライブラリから関連する情報を検索し、精査する。
論文参考訳（メタデータ） (2025-01-11T17:10:30Z)
ChemTEB: Chemical Text Embedding Benchmark, an Overview of Embedding Models Performance & Efficiency on a Specific Domain [0.8974531206817746]
本稿では,ケミカルテキスト埋め込みベンチマーク(ChemTEB)という新しいベンチマークを紹介する。 ChemTEBは、化学文献とデータのユニークな言語的・意味的な複雑さに対処する。化学情報の処理と理解における現在の方法論の長所と短所を照らす。
論文参考訳（メタデータ） (2024-11-30T16:45:31Z)
Multi-Source Knowledge Pruning for Retrieval-Augmented Generation: A Benchmark and Empirical Study [46.55831783809377]
大規模言語モデル(LLM)の幻覚を緩和するための効果的なアプローチとして,検索拡張世代(RAG)がますます認識されている。 PruningRAGはマルチグラニュラリティ・プルーニング・ストラテジーを用いて,関連コンテキストをより効果的に統合し,誤った情報に対するネガティブな影響を軽減するためのプラグアンドプレイRAGフレームワークである。
論文参考訳（メタデータ） (2024-09-03T03:31:37Z)
RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation [61.14660526363607]
本稿では,検索モジュールと生成モジュールの両方に対して,一連の診断指標を組み込んだ詳細な評価フレームワークであるRAGCheckerを提案する。 RAGCheckerは、他の評価指標よりも、人間の判断との相関が著しく優れている。 RAGCheckerのメトリクスは、より効果的なRAGシステムの開発において研究者や実践者を導くことができる。
論文参考訳（メタデータ） (2024-08-15T10:20:54Z)
FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research [70.6584488911715]
検索増強世代(RAG)は、かなりの研究関心を集めている。既存のRAGツールキットは、しばしば重くて柔軟であり、研究者のカスタマイズのニーズを満たすことができない。我々のツールキットは16の高度なRAGメソッドを実装し、38のベンチマークデータセットを収集し、整理した。
論文参考訳（メタデータ） (2024-05-22T12:12:40Z)
Chemist-X: Large Language Model-empowered Agent for Reaction Condition Recommendation in Chemical Synthesis [55.30328162764292]
Chemist-Xは、化学合成における反応条件最適化(RCO)タスクを自動化する包括的なAIエージェントである。このエージェントは、検索強化世代(RAG)技術とAI制御のウェットラブ実験を実行する。我々の自動ウェットラブ実験の結果は、LLMが制御するエンドツーエンドの操作を、ロボットに人間がいない状態で行うことで達成され、Chemist-Xの自動運転実験における能力が証明された。
論文参考訳（メタデータ） (2023-11-16T01:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。