論文の概要: Harnessing multiple LLMs for Information Retrieval: A case study on Deep Learning methodologies in Biodiversity publications

• arxiv url: http://arxiv.org/abs/2411.09269v1
• Date: Thu, 14 Nov 2024 08:12:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:22:40.440990
• Title: Harnessing multiple LLMs for Information Retrieval: A case study on Deep Learning methodologies in Biodiversity publications
• Title（参考訳）: 情報検索のための複数 LLM のハーネス化:生物多様性出版における深層学習手法の事例研究
• Authors: Vamsi Krishna Kommineni, Birgitta König-Ries, Sheeba Samuel,
• Abstract要約: 深層学習(DL)技術は、様々な分野の科学的研究にますます応用されている。 これらのモデルがどのように設計され、訓練され、評価されるかについて重要な情報は、アクセスし、理解することが困難です。 Llama-370B、Llama-3.170B、Mixtral-8x22B-Instruct-v0.1、Mixtral 8x7B、Gemma 2 9Bの5つの異なるオープンソースLarge Language Models (LLMs) とRetrieval-Augmented Generation (RAG) の2つのアプローチを使用している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Deep Learning (DL) techniques are increasingly applied in scientific studies across various domains to address complex research questions. However, the methodological details of these DL models are often hidden in the unstructured text. As a result, critical information about how these models are designed, trained, and evaluated is challenging to access and comprehend. To address this issue, in this work, we use five different open-source Large Language Models (LLMs): Llama-3 70B, Llama-3.1 70B, Mixtral-8x22B-Instruct-v0.1, Mixtral 8x7B, and Gemma 2 9B in combination with Retrieval-Augmented Generation (RAG) approach to extract and process DL methodological details from scientific publications automatically. We built a voting classifier from the outputs of five LLMs to accurately report DL methodological information. We tested our approach using biodiversity publications, building upon our previous research. To validate our pipeline, we employed two datasets of DL-related biodiversity publications: a curated set of 100 publications from our prior work and a set of 364 publications from the Ecological Informatics journal. Our results demonstrate that the multi-LLM, RAG-assisted pipeline enhances the retrieval of DL methodological information, achieving an accuracy of 69.5% (417 out of 600 comparisons) based solely on textual content from publications. This performance was assessed against human annotators who had access to code, figures, tables, and other supplementary information. Although demonstrated in biodiversity, our methodology is not limited to this field; it can be applied across other scientific domains where detailed methodological reporting is essential for advancing knowledge and ensuring reproducibility. This study presents a scalable and reliable approach for automating information extraction, facilitating better reproducibility and knowledge transfer across studies.
• Abstract（参考訳）: 深層学習(DL)技術は、複雑な研究課題に対処するために、様々な分野の科学研究にますます応用されている。 しかし、これらのDLモデルの方法論的詳細は、しばしば構造化されていないテキストに隠されている。 その結果、これらのモデルがどのように設計され、訓練され、評価されるかについての批判的な情報は、アクセスし、理解することが困難である。 本稿では,Llama-370B,Llama-3.170B,Mixtral-8x22B-Instruct-v0.1,Mixtral 8x7B,Gemma 29Bの5つの異なるオープンソースLarge Language Model(LLM)を用いて,学術出版物からDL方法論の詳細を自動的に抽出・処理する。 我々は,DL方法論情報を正確に報告するために,5つのLCMの出力から投票分類器を構築した。 これまでの研究に基づいて,生物多様性の出版物を用いてアプローチを検証した。 筆者らのパイプラインを検証するために, DL関連生物多様性出版物のデータセットを2つ導入した: これまでの研究から得られた100冊の出版物と, Ecological Informatics Journalからの364冊の出版物である。 以上の結果から,複数LLM,RAG支援パイプラインは,出版物からのテキストコンテンツのみに基づいて,69.5%(600件中417件)の精度を達成し,DL方法論情報の検索を促進することが示唆された。 このパフォーマンスは、コード、数字、テーブル、その他の補足情報にアクセス可能な人間のアノテーションに対して評価された。 本手法は, 生物多様性を実証しながらも, この分野に限らず, 詳細な方法論報告が知識の進歩と再現性確保に不可欠である他の科学的分野にも適用可能である。 本研究は,情報抽出を自動化し,再現性の向上と知識伝達を促進するための,スケーラブルで信頼性の高い手法を提案する。

関連論文リスト

• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• Improving Medical Reasoning through Retrieval and Self-Reflection with Retrieval-Augmented Large Language Models [18.984165679347026]
  Self-BioRAGは、説明文の生成、ドメイン固有の文書の検索、生成したレスポンスの自己参照を専門とする、バイオメディカルテキストに信頼できるフレームワークである。 84kのバイオメディカル・インストラクション・セットを用いて、カスタマイズされた反射トークンで生成された説明を評価できるセルフビオRAGを訓練する。
  論文  参考訳（メタデータ） (2024-01-27T02:29:42Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Embrace Divergence for Richer Insights: A Multi-document Summarization Benchmark and a Case Study on Summarizing Diverse Information from News Articles [136.84278943588652]
  同一イベントを含む複数のニュース記事において遭遇する多様な情報を要約する新しい課題を提案する。 この作業を容易にするために、多様な情報を特定するためのデータ収集スキーマの概要と、DiverseSummというデータセットをキュレートした。 データセットには245のニュース記事が含まれており、各ストーリーは10のニュース記事からなり、人間公認の参照と組み合わせられる。
  論文  参考訳（メタデータ） (2023-09-17T20:28:17Z)
• Using Large Language Models to Automate Category and Trend Analysis of Scientific Articles: An Application in Ophthalmology [4.455826633717872]
  本稿では,Large Language Models (LLM) のパワーを活用した記事分類の自動手法を提案する。 平均精度は0.86、平均F1は0.85である。 モデルの他の科学分野への拡張性は、様々な分野にわたる研究やトレンド分析の促進にその影響を広げる。
  論文  参考訳（メタデータ） (2023-08-31T12:45:53Z)
• A systematic evaluation of large language models for biomedical natural language processing: benchmarks, baselines, and recommendations [22.668383945059762]
  そこで本研究では,12個のBioNLPデータセットにまたがる4つの代表言語モデル(LLM)を体系的に評価する。 評価は、ゼロショット、静的少数ショット、動的Kアネレスト、微調整の4つの設定で行われる。 これらのモデルと最先端(SOTA)アプローチを比較し、細い(ドメイン固有の)BERTモデルやBARTモデルと比較する。
  論文  参考訳（メタデータ） (2023-05-10T13:40:06Z)
• Application of Transformers based methods in Electronic Medical Records: A Systematic Literature Review [77.34726150561087]
  本研究は,異なるNLPタスクにおける電子カルテ(EMR)のトランスフォーマーに基づく手法を用いて,最先端技術に関する体系的な文献レビューを行う。
  論文  参考訳（メタデータ） (2023-04-05T22:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。