論文の概要: HiPerRAG: High-Performance Retrieval Augmented Generation for Scientific Insights

• arxiv url: http://arxiv.org/abs/2505.04846v1
• Date: Wed, 07 May 2025 22:50:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.697997
• Title: HiPerRAG: High-Performance Retrieval Augmented Generation for Scientific Insights
• Title（参考訳）: HiPerRAG: 科学的洞察のための高性能検索生成
• Authors: Ozan Gokdemir, Carlo Siebenschuh, Alexander Brace, Azton Wells, Brian Hsu, Kyle Hippe, Priyanka V. Setty, Aswathy Ajith, J. Gregory Pauloski, Varuni Sastry, Sam Foreman, Huihuo Zheng, Heng Ma, Bharat Kale, Nicholas Chia, Thomas Gibbs, Michael E. Papka, Thomas Brettin, Francis J. Alexander, Anima Anandkumar, Ian Foster, Rick Stevens, Venkatram Vishwanath, Arvind Ramanathan,
• Abstract要約: HiPerRAGは360万以上の科学論文から知識をインデクシングし取り出すワークフローである。 コアとなるのはマルチモーダル文書解析のための高スループットモデルであるOreoと、クエリ対応エンコーダの微調整アルゴリズムであるColTrastだ。 HiPerRAGは、既存の科学的質問応答ベンチマークと、この研究で導入された2つの新しいベンチマークで堅牢なパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 72.82973609312178
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The volume of scientific literature is growing exponentially, leading to underutilized discoveries, duplicated efforts, and limited cross-disciplinary collaboration. Retrieval Augmented Generation (RAG) offers a way to assist scientists by improving the factuality of Large Language Models (LLMs) in processing this influx of information. However, scaling RAG to handle millions of articles introduces significant challenges, including the high computational costs associated with parsing documents and embedding scientific knowledge, as well as the algorithmic complexity of aligning these representations with the nuanced semantics of scientific content. To address these issues, we introduce HiPerRAG, a RAG workflow powered by high performance computing (HPC) to index and retrieve knowledge from more than 3.6 million scientific articles. At its core are Oreo, a high-throughput model for multimodal document parsing, and ColTrast, a query-aware encoder fine-tuning algorithm that enhances retrieval accuracy by using contrastive learning and late-interaction techniques. HiPerRAG delivers robust performance on existing scientific question answering benchmarks and two new benchmarks introduced in this work, achieving 90% accuracy on SciQ and 76% on PubMedQA-outperforming both domain-specific models like PubMedGPT and commercial LLMs such as GPT-4. Scaling to thousands of GPUs on the Polaris, Sunspot, and Frontier supercomputers, HiPerRAG delivers million document-scale RAG workflows for unifying scientific knowledge and fostering interdisciplinary innovation.
• Abstract（参考訳）: 科学文献の量は指数関数的に増加しており、未利用の発見、重複した努力、学際的なコラボレーションが制限されている。 Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)の事実性を改善することで、科学者を支援する手段を提供する。 しかしながら、何百万もの記事を扱うためにRAGをスケールすることは、文書のパースや科学知識の埋め込みに関連する高い計算コストや、これらの表現を科学内容の微妙な意味論と整合させるアルゴリズムの複雑さなど、重大な課題をもたらす。 これらの問題に対処するために、ハイパフォーマンスコンピューティング(HPC)を利用したRAGワークフローであるHiPerRAGを導入し、360万以上の科学論文から知識をインデックス化し、取得する。 コアとなるOreoはマルチモーダル文書解析のための高スループットモデルであり、ColTrastはクエリ対応エンコーダの微調整アルゴリズムであり、コントラスト学習と遅延相互作用技術を用いて精度を向上させる。 HiPerRAGは、既存の科学的質問応答ベンチマークとこの研究で導入された2つの新しいベンチマークで堅牢なパフォーマンスを提供し、SciQでは90%の精度で、PubMedQAでは76%、PubMedGPTのようなドメイン固有モデルとGPT-4のような商用LLMの両方のパフォーマンスを実現している。 ポラリス、サンスポット、フロンティアのスーパーコンピュータ上で数千のGPUにスケールアップするHiPerRAGは、科学知識を統一し、学際的イノベーションを促進するために、100万のドキュメントスケールのRAGワークフローを提供する。

関連論文リスト

• Towards Scientific Intelligence: A Survey of LLM-based Scientific Agents [11.74019905854637]
  大規模言語モデル(LLM)は、重要なタスクを自動化する科学的エージェントへと進化している。 汎用LLMとは異なり、特殊エージェントはドメイン固有の知識、高度なツールセット、堅牢な検証メカニズムを統合する。 一般的なエージェントと異なる理由と、さまざまな科学分野の研究を進める方法を強調します。
  論文  参考訳（メタデータ） (2025-03-31T13:11:28Z)
• Large Language Models for Scholarly Ontology Generation: An Extensive Analysis in the Engineering Field [0.0]
  本稿では,異なる研究トピック間の意味的関係を識別する大規模モデルの能力について分析する。 我々はそのタスクを評価するためにIEEE Thesaurusに基づく金の標準を開発した。 Mixtral-8x7B、Dolphin-Mistral、Claude 3-7Bなど、いくつかの優れた結果が得られた。
  論文  参考訳（メタデータ） (2024-12-11T10:11:41Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。 2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。 タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• MASSW: A New Dataset and Benchmark Tasks for AI-Assisted Scientific Workflows [58.56005277371235]
  我々は,Multi-Aspect Summarization of ScientificAspectsに関する総合テキストデータセットであるMASSWを紹介する。 MASSWには過去50年間にわたる17の主要なコンピュータサイエンスカンファレンスから152,000以上の査読論文が含まれている。 我々は、この新しいデータセットを用いてベンチマーク可能な、複数の新しい機械学習タスクを通じて、MASSWの有用性を実証する。
  論文  参考訳（メタデータ） (2024-06-10T15:19:09Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• Automated Creation and Human-assisted Curation of Computable Scientific Models from Code and Text [2.3746609573239756]
  ドメインエキスパートは、コードに詳しくなければ、科学的モデルの実装を完全に理解することはできない。 我々は,科学モデルの自動作成と人手によるキュレーションのためのシステムを開発した。 本研究では,NASAのハイパーソニック・エアロダイナミックス(Hypersonic Aerodynamics)のウェブサイトから得られたコードと関連テキストのデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-01-28T17:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。