論文の概要: Comparative Analysis of LLaMA and ChatGPT Embeddings for Molecule Embedding

• arxiv url: http://arxiv.org/abs/2402.00024v1
• Date: Fri, 5 Jan 2024 18:31:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-04 05:22:26.874631
• Title: Comparative Analysis of LLaMA and ChatGPT Embeddings for Molecule Embedding
• Title（参考訳）: 分子エンベディング用LLaMAとChatGPTエンベディングの比較解析
• Authors: Shaghayegh Sadeghi, Alan Bui, Ali Forooghi, Jianguo Lu, Alioune Ngom
• Abstract要約: ChatGPTやLLaMAのような大規模言語モデル(LLM)は、ケミノフォマティクスの分野におけるその可能性をますます認識している。 SMILES文字列の埋め込みにおけるChatGPTとLLaMAの性能について検討する。 LLaMAを用いたSMILESの埋め込みは,MPとDDIの予測タスクにおいてChatGPTよりも優れていた。
• 参考スコア（独自算出の注目度）: 0.07499722271664144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Purpose: Large Language Models (LLMs) like ChatGPT and LLaMA are increasingly recognized for their potential in the field of cheminformatics, particularly in interpreting Simplified Molecular Input Line Entry System (SMILES), a standard method for representing chemical structures. These LLMs can decode SMILES strings into vector representations, providing a novel approach to understanding chemical graphs. Methods: We investigate the performance of ChatGPT and LLaMA in embedding SMILES strings. Our evaluation focuses on two key applications: molecular property (MP) prediction and drug-drug interaction (DDI) prediction, both essential in drug development and healthcare. Results: We find that SMILES embeddings generated using LLaMA outperform those from ChatGPT in both MP and DDI prediction tasks. Notably, LLaMA-based SMILES embeddings show results comparable to existing methods in both prediction tasks. Conclusion: The application of LLMs in cheminformatics, particularly in utilizing SMILES embeddings, shows significant promise for advancing drug development. This includes improving the prediction of chemical properties and facilitating the drug discovery process. GitHub: https://github.com/sshaghayeghs/LLaMA-VS-ChatGPT
• Abstract（参考訳）: 目的: ChatGPT や LLaMA のような大規模言語モデル (LLM) は,化学情報学の分野,特に化学構造を表現する標準的な方法である単純分子入力線入力システム (SMILES) の解釈において,その可能性をますます認識している。 これらのLLMはSMILES文字列をベクトル表現にデコードすることができ、化学グラフを理解するための新しいアプローチを提供する。 方法: SMILES文字列の埋め込みにおけるChatGPTとLLaMAの性能について検討する。 我々は分子特性予測 (mp) と薬物-薬物相互作用予測 (ddi) の2つの重要な応用について評価を行った。 結果: LLaMAを用いて生成したSMILES埋め込みは,MPおよびDDI予測タスクにおいてChatGPTより優れていた。 特に、LLaMAベースのSMILES埋め込みは、両方の予測タスクで既存のメソッドに匹敵する結果を示す。 結論: LLMのケミノフォマティクスへの応用,特にSMILESの組込み利用は,薬物開発を進展させる大きな可能性を示唆している。 これには、化学的性質の予測を改善し、薬物発見プロセスを促進することが含まれる。 GitHub:https://github.com/sshaghayeghs/LLaMA-VS-ChatGPT

関連論文リスト

• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• MolCap-Arena: A Comprehensive Captioning Benchmark on Language-Enhanced Molecular Property Prediction [44.27112553103388]
  分子特性予測を拡張した大規模言語モデル(LLM)の最初の包括的なベンチマークである分子キャプションアリーナを提示する。 汎用分子キャプタとドメイン特異的分子キャプタを含む20以上のLDMを,様々な予測タスクで評価した。 以上の結果から,LLM抽出した知識が最先端の分子表現を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-01T17:03:16Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。 また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• Regression with Large Language Models for Materials and Molecular Property Prediction [0.0]
  本研究では,大規模言語モデル(LLM)が物質的および分子的特性の回帰処理を行う能力を示す。 我々は,Large Language Model Meta AI (LLaMA) 3を,QM9データセットのいくつかの分子特性と24の材料特性についてベンチマークした。
  論文  参考訳（メタデータ） (2024-09-09T21:26:32Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• MolX: Enhancing Large Language Models for Molecular Learning with A Multi-Modal Extension [34.586861881519134]
  タスクハンドリング能力の強い大規模言語モデル(LLM)は、様々な分野において顕著な進歩を見せている。 本研究は、分子をマルチモーダルな外部モジュール、すなわちMollXに装備することで、分子の理解能力を高めることを目的とする。 特に,分子の表現にSMILES文字列を直接使用する代わりに,特定のエンコーダを用いて,SMILES文字列と2次元分子グラフ表現の両方から微細な特徴を抽出する。
  論文  参考訳（メタデータ） (2024-06-10T20:25:18Z)
• Benchmarking Large Language Models for Molecule Prediction Tasks [7.067145619709089]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクの最前線にある。 LLMは分子予測タスクを効果的に扱えるのか? 6つの標準分子データセットの分類および回帰予測タスクを同定する。 テキストベースのモデルと、分子の幾何学的構造を分析するために特別に設計されたモデルを含む、既存の機械学習(ML)モデルと比較する。
  論文  参考訳（メタデータ） (2024-03-08T05:59:56Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Can Large Language Models Empower Molecular Property Prediction? [16.5246941211725]
  分子特性の予測は、科学分野における形質転換の可能性によって大きな注目を集めている。 近年,Large Language Models (LLMs) が急速に発展し,NLPの分野に革命をもたらした。 本研究では、ゼロ/フェーショットの分子分類と、LLMによって生成された新しい説明を分子の表現として用いるという2つの視点を通して、この目的に向けて前進する。
  論文  参考訳（メタデータ） (2023-07-14T16:06:42Z)
• Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
  大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。 本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。 分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-11T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。