論文の概要: DRAK: Unlocking Molecular Insights with Domain-Specific Retrieval-Augmented Knowledge in LLMs

• arxiv url: http://arxiv.org/abs/2406.18535v1
• Date: Mon, 4 Mar 2024 15:04:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 06:21:45.744599
• Title: DRAK: Unlocking Molecular Insights with Domain-Specific Retrieval-Augmented Knowledge in LLMs
• Title（参考訳）: DRAK: LLMにおけるドメイン特化検索強化知識による分子インサイトのアンロック
• Authors: Jinzhe Liu, Xiangsheng Huang, Zhuo Chen, Yin Fang,
• Abstract要約: DRAK(Domain-specific Retrieval-Augmented Knowledge)は、大規模言語モデルのための非パラメトリックな知識注入フレームワークである。 DRAKは、分子領域と幅広い分析タスクを扱う能力において、深い専門知識を発達させてきた。 私たちのコードはまもなく利用可能になります。
• 参考スコア（独自算出の注目度）: 6.728130796437259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) encounter challenges with the unique syntax of specific domains, such as biomolecules. Existing fine-tuning or modality alignment techniques struggle to bridge the domain knowledge gap and understand complex molecular data, limiting LLMs' progress in specialized fields. To overcome these limitations, we propose an expandable and adaptable non-parametric knowledge injection framework named Domain-specific Retrieval-Augmented Knowledge (DRAK), aimed at enhancing reasoning capabilities in specific domains. Utilizing knowledge-aware prompts and gold label-induced reasoning, DRAK has developed profound expertise in the molecular domain and the capability to handle a broad spectrum of analysis tasks. We evaluated two distinct forms of DRAK variants, proving that DRAK exceeds previous benchmarks on six molecular tasks within the Mol-Instructions dataset. Extensive experiments have underscored DRAK's formidable performance and its potential to unlock molecular insights, offering a unified paradigm for LLMs to tackle knowledge-intensive tasks in specific domains. Our code will be available soon.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、生体分子のような特定のドメインのユニークな構文に直面する。 既存の微調整やモダリティアライメント技術は、ドメイン知識ギャップを埋め、複雑な分子データを理解するのに苦労し、特殊な分野におけるLSMの進歩を制限する。 これらの制限を克服するために、特定のドメインにおける推論能力を高めることを目的としたドメイン固有検索強化知識(DRAK)と呼ばれる拡張可能で適応可能な非パラメトリックな知識注入フレームワークを提案する。 ナレッジ・アウェア・プロンプトとゴールド・ラベルが引き起こした推論を利用して、DRAKは分子領域と幅広い分析タスクを扱う能力に深い専門知識を発達させてきた。 2種類のDRAK変異体を評価し、DRAKがモル-インストラクションデータセット内の6つの分子タスクの以前のベンチマークを上回っていることを証明した。 大規模な実験は、DRAKの強烈な性能と分子的洞察を解き放つ可能性を強調し、特定の領域における知識集約的なタスクに取り組むためのLLMの統一的なパラダイムを提供した。 私たちのコードはまもなく利用可能になります。

関連論文リスト

• MolCap-Arena: A Comprehensive Captioning Benchmark on Language-Enhanced Molecular Property Prediction [44.27112553103388]
  分子特性予測を拡張した大規模言語モデル(LLM)の最初の包括的なベンチマークである分子キャプションアリーナを提示する。 汎用分子キャプタとドメイン特異的分子キャプタを含む20以上のLDMを,様々な予測タスクで評価した。 以上の結果から,LLM抽出した知識が最先端の分子表現を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-01T17:03:16Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Domain-Specific Retrieval-Augmented Generation Using Vector Stores, Knowledge Graphs, and Tensor Factorization [7.522493227357079]
  大規模言語モデル(LLM)は大規模コーパスで事前訓練されている。 LLMは幻覚、知識の遮断、知識の帰属の欠如に悩まされる。 SMART-SLICはドメイン固有のLLMフレームワークである。
  論文  参考訳（メタデータ） (2024-10-03T17:40:55Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Molecular Graph Representation Learning Integrating Large Language Models with Domain-specific Small Models [12.744381867301353]
  大規模言語モデルとドメイン固有小モデルを統合する新しい分子グラフ表現学習フレームワークを提案する。 分子グラフとそれに対応する記述文を含む多モードアライメント法を用いて、分子表現の事前学習を誘導する。
  論文  参考訳（メタデータ） (2024-08-19T16:11:59Z)
• Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains [9.600277231719874]
  大規模言語モデル(LLM)は、自然言語の理解と生成に顕著な能力を示した。 本研究は、汎用LLMを特殊領域の効率的なタスク解決器に再利用する方法を探求する。
  論文  参考訳（メタデータ） (2024-02-06T20:11:54Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
  大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。 本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。 分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-11T08:16:25Z)
• Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。 広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。 しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
  論文  参考訳（メタデータ） (2023-05-30T03:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。