論文の概要: DRAK: Unlocking Molecular Insights with Domain-Specific Retrieval-Augmented Knowledge in LLMs
- arxiv url: http://arxiv.org/abs/2406.18535v1
- Date: Mon, 4 Mar 2024 15:04:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 06:21:45.744599
- Title: DRAK: Unlocking Molecular Insights with Domain-Specific Retrieval-Augmented Knowledge in LLMs
- Title(参考訳): DRAK: LLMにおけるドメイン特化検索強化知識による分子インサイトのアンロック
- Authors: Jinzhe Liu, Xiangsheng Huang, Zhuo Chen, Yin Fang,
- Abstract要約: DRAK(Domain-specific Retrieval-Augmented Knowledge)は、大規模言語モデルのための非パラメトリックな知識注入フレームワークである。
DRAKは、分子領域と幅広い分析タスクを扱う能力において、深い専門知識を発達させてきた。
私たちのコードはまもなく利用可能になります。
- 参考スコア(独自算出の注目度): 6.728130796437259
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) encounter challenges with the unique syntax of specific domains, such as biomolecules. Existing fine-tuning or modality alignment techniques struggle to bridge the domain knowledge gap and understand complex molecular data, limiting LLMs' progress in specialized fields. To overcome these limitations, we propose an expandable and adaptable non-parametric knowledge injection framework named Domain-specific Retrieval-Augmented Knowledge (DRAK), aimed at enhancing reasoning capabilities in specific domains. Utilizing knowledge-aware prompts and gold label-induced reasoning, DRAK has developed profound expertise in the molecular domain and the capability to handle a broad spectrum of analysis tasks. We evaluated two distinct forms of DRAK variants, proving that DRAK exceeds previous benchmarks on six molecular tasks within the Mol-Instructions dataset. Extensive experiments have underscored DRAK's formidable performance and its potential to unlock molecular insights, offering a unified paradigm for LLMs to tackle knowledge-intensive tasks in specific domains. Our code will be available soon.
- Abstract(参考訳): 大規模言語モデル(LLM)は、生体分子のような特定のドメインのユニークな構文に直面する。
既存の微調整やモダリティアライメント技術は、ドメイン知識ギャップを埋め、複雑な分子データを理解するのに苦労し、特殊な分野におけるLSMの進歩を制限する。
これらの制限を克服するために、特定のドメインにおける推論能力を高めることを目的としたドメイン固有検索強化知識(DRAK)と呼ばれる拡張可能で適応可能な非パラメトリックな知識注入フレームワークを提案する。
ナレッジ・アウェア・プロンプトとゴールド・ラベルが引き起こした推論を利用して、DRAKは分子領域と幅広い分析タスクを扱う能力に深い専門知識を発達させてきた。
2種類のDRAK変異体を評価し、DRAKがモル-インストラクションデータセット内の6つの分子タスクの以前のベンチマークを上回っていることを証明した。
大規模な実験は、DRAKの強烈な性能と分子的洞察を解き放つ可能性を強調し、特定の領域における知識集約的なタスクに取り組むためのLLMの統一的なパラダイムを提供した。
私たちのコードはまもなく利用可能になります。
関連論文リスト
- MolX: Enhancing Large Language Models for Molecular Learning with A Multi-Modal Extension [34.586861881519134]
タスクハンドリング能力の強い大規模言語モデル(LLM)は、様々な分野において顕著な進歩を見せている。
本研究は, 分子を多モード外部モジュール, MolX で設計し, 実装することで, LLM の分子理解能力を高めることを目的とする。
特に,分子の表現にSMILES文字列を直接使用する代わりに,特定のエンコーダを用いて,SMILES文字列と2次元分子グラフ表現の両方から微細な特徴を抽出する。
論文 参考訳(メタデータ) (2024-06-10T20:25:18Z) - PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。
LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。
LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。
実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2024-02-20T09:02:55Z) - Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains [9.600277231719874]
大規模言語モデル(LLM)は、自然言語の理解と生成に顕著な能力を示した。
本研究は、汎用LLMを特殊領域の効率的なタスク解決器に再利用する方法を探求する。
論文 参考訳(メタデータ) (2024-02-06T20:11:54Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳(メタデータ) (2023-11-16T07:09:38Z) - MechGPT, a language-based strategy for mechanics and materials modeling
that connects knowledge across scales, disciplines and modalities [0.0]
我々は,Large Language Model (LLM) を用いて,質問応答対を原料から抽出し,微調整する。
得られたMechGPT LLM基盤モデルは、知識検索、様々な言語タスク、仮説生成、異なる領域にわたる知識の接続能力を調べるために、一連の計算実験で使用される。
論文 参考訳(メタデータ) (2023-10-16T14:29:35Z) - Inspire the Large Language Model by External Knowledge on BioMedical
Named Entity Recognition [3.427366431933441]
大規模言語モデル(LLM)は多くのNLPタスク、特に生成タスクにおいて支配的な性能を示す。
LLMを利用して、バイオメディカルNERタスクをエンティティスパン抽出とエンティティタイプ決定に分解する。
実験の結果,2段階のBioNERアプローチでは,以前の数発のLDMベースラインと比較して有意な改善が見られた。
論文 参考訳(メタデータ) (2023-09-21T17:39:53Z) - Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。
本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。
分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
論文 参考訳(メタデータ) (2023-06-11T08:16:25Z) - Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。
広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。
しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
論文 参考訳(メタデータ) (2023-05-30T03:00:30Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。