論文の概要: Graph-Based Retriever Captures the Long Tail of Biomedical Knowledge

• arxiv url: http://arxiv.org/abs/2402.12352v1
• Date: Mon, 19 Feb 2024 18:31:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 15:11:46.389635
• Title: Graph-Based Retriever Captures the Long Tail of Biomedical Knowledge
• Title（参考訳）: グラフによるバイオメディカル知識の長期化
• Authors: Julien Delile, Srayanta Mukherjee, Anton Van Pamel, Leonid Zhukov
• Abstract要約: 大規模言語モデル(LLM)は、膨大な知識を要約して提示することで、情報の検索方法を変えつつある。 LLMはトレーニングセットから最も頻繁に見られる情報を強調し、まれな情報を無視する傾向があります。 本稿では,これらのクラスタをダウンサンプリングし,情報過負荷問題を緩和するために知識グラフを活用する新しい情報検索手法を提案する。
• 参考スコア（独自算出の注目度）: 2.2814097119704058
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are transforming the way information is retrieved with vast amounts of knowledge being summarized and presented via natural language conversations. Yet, LLMs are prone to highlight the most frequently seen pieces of information from the training set and to neglect the rare ones. In the field of biomedical research, latest discoveries are key to academic and industrial actors and are obscured by the abundance of an ever-increasing literature corpus (the information overload problem). Surfacing new associations between biomedical entities, e.g., drugs, genes, diseases, with LLMs becomes a challenge of capturing the long-tail knowledge of the biomedical scientific production. To overcome this challenge, Retrieval Augmented Generation (RAG) has been proposed to alleviate some of the shortcomings of LLMs by augmenting the prompts with context retrieved from external datasets. RAG methods typically select the context via maximum similarity search over text embeddings. In this study, we show that RAG methods leave out a significant proportion of relevant information due to clusters of over-represented concepts in the biomedical literature. We introduce a novel information-retrieval method that leverages a knowledge graph to downsample these clusters and mitigate the information overload problem. Its retrieval performance is about twice better than embedding similarity alternatives on both precision and recall. Finally, we demonstrate that both embedding similarity and knowledge graph retrieval methods can be advantageously combined into a hybrid model that outperforms both, enabling potential improvements to biomedical question-answering models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語の会話を通じて大量の知識を要約して提示することで、情報の検索方法を変えつつある。 しかし、LSMはトレーニングセットから最も頻繁に見られる情報を強調し、まれな情報を無視する傾向があります。 バイオメディカル研究の分野では、最新の発見は学術的・産業的なアクターにとって鍵であり、増え続ける文学コーパス(情報過負荷問題)の存在にあいまいである。 薬物、遺伝子、疾患などの生物医学的な実体とLLMとの新たな関連性は、生物医学的な科学的生産の長い知識を捉えることの課題となっている。 この課題を克服するために、Retrieval Augmented Generation (RAG) は、外部データセットから取得したコンテキストでプロンプトを拡大することにより、LLMの欠点のいくつかを軽減するために提案されている。 RAGメソッドは通常、テキスト埋め込みの最大類似度検索によってコンテキストを選択する。 本研究では,生物医学文献における過剰表現概念の集合により,RAG法が関連情報のかなりの割合を排除していることを示す。 本稿では,知識グラフを活用し,これらのクラスタをダウンサンプルし,情報過負荷問題を緩和する新しい情報リトライバル手法を提案する。 その検索性能は、精度とリコールの両方に類似性代替品を埋め込むよりも約2倍良い。 最後に, 類似点の埋め込みと知識グラフ検索の両手法が, 双方より優れているハイブリッドモデルに有利に組み合わされ, バイオメディカルな質問応答モデルの改善が期待できることを示す。

関連論文リスト

• NeuroSym-BioCAT: Leveraging Neuro-Symbolic Methods for Biomedical Scholarly Document Categorization and Question Answering [0.14999444543328289]
  本稿では,最適化されたトピックモデリングフレームワークであるOVB-LDAとBI-POP CMA-ES最適化技術を統合し,学術文書の抽象分類を強化した新しい手法を提案する。 我々は、ドメイン固有データに基づいて微調整された蒸留MiniLMモデルを用いて、高精度な回答抽出を行う。
  論文  参考訳（メタデータ） (2024-10-29T14:45:12Z)
• Explainable Biomedical Hypothesis Generation via Retrieval Augmented Generation enabled Large Language Models [46.05020842978823]
  大規模言語モデル(LLM)はこの複雑なデータランドスケープをナビゲートする強力なツールとして登場した。 RAGGEDは、知識統合と仮説生成を伴う研究者を支援するために設計された包括的なワークフローである。
  論文  参考訳（メタデータ） (2024-07-17T07:44:18Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Genetic InfoMax: Exploring Mutual Information Maximization in High-Dimensional Imaging Genetics Studies [50.11449968854487]
  遺伝子ワイド・アソシエーション(GWAS)は、遺伝的変異と特定の形質の関係を同定するために用いられる。 画像遺伝学の表現学習は、GWASによって引き起こされる固有の課題により、ほとんど探索されていない。 本稿では,GWAS の具体的な課題に対処するために,トランスモーダル学習フレームワーク Genetic InfoMax (GIM) を提案する。
  論文  参考訳（メタデータ） (2023-09-26T03:59:21Z)
• Applying BioBERT to Extract Germline Gene-Disease Associations for Building a Knowledge Graph from the Biomedical Literature [0.0]
  本稿では,ジェムリン遺伝子と疾患を結合する知識グラフ構築手法SimpleGermKGを提案する。 遺伝子および疾患の抽出には、バイオメディカルコーパス上でトレーニング済みのBERTモデルであるBioBERTを用いる。 記事,遺伝子,疾患間の意味的関連性について,部分的関係性アプローチを実装した。 知識グラフには297の遺伝子、130の疾患、46,747のトリプルが含まれている。
  論文  参考訳（メタデータ） (2023-09-11T18:05:12Z)
• BioIE: Biomedical Information Extraction with Multi-head Attention Enhanced Graph Convolutional Network [9.227487525657901]
  本稿では,バイオメディカルテキストと非構造化医療報告から関係を抽出するハイブリッドニューラルネットワークであるバイオメディカル情報抽出を提案する。 本研究は,2つの主要な生医学的関係抽出タスク,化学物質とタンパク質の相互作用,およびクロスホスピタル・パン・カンノロジー報告コーパスについて検討した。
  論文  参考訳（メタデータ） (2021-10-26T13:19:28Z)
• Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
  我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-17T17:55:33Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。