論文の概要: MoleculeQA: A Dataset to Evaluate Factual Accuracy in Molecular
Comprehension
- arxiv url: http://arxiv.org/abs/2403.08192v1
- Date: Wed, 13 Mar 2024 02:26:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 15:49:51.812386
- Title: MoleculeQA: A Dataset to Evaluate Factual Accuracy in Molecular
Comprehension
- Title(参考訳): MoleculeQA: 分子の実際の精度を評価するデータセット
理解
- Authors: Xingyu Lu, He Cao, Zijing Liu, Shengyuan Bai, Leqing Chen, Yuan Yao,
Hai-Tao Zheng, Yu Li
- Abstract要約: 62KのQA対を23K以上持つ新しいQAデータセットであるMoleculeQAを提案する。
Mo MoleculeQAは、分子の事実バイアス評価のための最初のベンチマークであるだけでなく、分子研究のための最大のQAデータセットでもある。
- 参考スコア(独自算出の注目度): 25.3668113870921
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are playing an increasingly significant role in
molecular research, yet existing models often generate erroneous information,
posing challenges to accurate molecular comprehension. Traditional evaluation
metrics for generated content fail to assess a model's accuracy in molecular
understanding. To rectify the absence of factual evaluation, we present
MoleculeQA, a novel question answering (QA) dataset which possesses 62K QA
pairs over 23K molecules. Each QA pair, composed of a manual question, a
positive option and three negative options, has consistent semantics with a
molecular description from authoritative molecular corpus. MoleculeQA is not
only the first benchmark for molecular factual bias evaluation but also the
largest QA dataset for molecular research. A comprehensive evaluation on
MoleculeQA for existing molecular LLMs exposes their deficiencies in specific
areas and pinpoints several particularly crucial factors for molecular
understanding.
- Abstract(参考訳): 大規模言語モデルは分子研究においてますます重要な役割を担っているが、既存のモデルはしばしば誤った情報を生成し、正確な分子理解に挑戦している。
生成されたコンテンツに対する従来の評価基準は、分子理解におけるモデルの精度を評価するのに失敗する。
事実評価の欠如を是正するために,23K分子以上62KのQAペアを持つ新しいQAデータセットであるMoleculeQAを提案する。
それぞれのQAペアは、手動質問、正の選択肢、3つの負の選択肢で構成され、権威分子コーパスからの分子記述と一貫した意味を持つ。
MoleculeQAは、分子の事実バイアス評価のための最初のベンチマークであるだけでなく、分子研究のための最大のQAデータセットでもある。
既存の分子LLMに対する分子QAの包括的評価は、その特定の領域における欠陥を明らかにし、分子理解の重要な要素をいくつか挙げる。
関連論文リスト
- Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [51.58302921340358]
本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。
TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。
我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
論文 参考訳(メタデータ) (2024-03-20T02:15:55Z) - Interactive Molecular Discovery with Natural Language [69.89287960545903]
対象分子を記述・編集するための自然言語を用いた対話型分子設計を提案する。
この課題をより良くするために、実験プロパティ情報を注入することによって強化された知識的で汎用的な生成事前学習モデルChatMolを設計する。
論文 参考訳(メタデータ) (2023-06-21T02:05:48Z) - MolFM: A Multimodal Molecular Foundation Model [9.934141536012596]
MolFMは分子構造、バイオメディカルテキスト、知識グラフからの共同表現学習を容易にするために設計された多モード分子基盤モデルである。
我々は,同分子の異なるモジュラリティ間の特徴空間における距離を最小化することにより,我々のクロスモーダル事前学習が局所的および大域的分子知識を捕捉する理論解析を行う。
クロスモーダル検索では、MolFMは既存のモデルよりも12.13%、絶対利得は5.04%、ゼロショットと微調整がそれぞれ優れている。
論文 参考訳(メタデータ) (2023-06-06T12:45:15Z) - Bi-level Contrastive Learning for Knowledge-Enhanced Molecule
Representations [55.42602325017405]
本稿では,分子の2レベル構造を考慮した新しいGODE法を提案する。
異なるグラフ構造上で2つのグラフニューラルネットワーク(GNN)を事前訓練し、対照的な学習と組み合わせることで、GODEは分子構造を対応する知識グラフサブ構造と融合させる。
11の化学特性タスクを微調整した場合、我々のモデルは既存のベンチマークよりも優れており、分類タスクの平均ROC-AUCアップリフトは13.8%、回帰タスクの平均RMSE/MAEエンハンスメントは35.1%である。
論文 参考訳(メタデータ) (2023-06-02T15:49:45Z) - Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular
Property Prediction [53.06671763877109]
我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。
我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。
複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
論文 参考訳(メタデータ) (2023-02-04T01:32:40Z) - Domain-Agnostic Molecular Generation with Chemical Feedback [44.063584808910896]
MolGenは、分子生成に特化した事前訓練された分子言語モデルである。
1億以上の分子SELFIESを再構成することで構造的および文法的な洞察を内部化する。
我々の化学フィードバックパラダイムは、モデルを分子幻覚から遠ざけ、モデルの推定確率と実世界の化学的嗜好との整合性を確保する。
論文 参考訳(メタデータ) (2023-01-26T17:52:56Z) - A Molecular Multimodal Foundation Model Associating Molecule Graphs with
Natural Language [63.60376252491507]
本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。
我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
論文 参考訳(メタデータ) (2022-09-12T00:56:57Z) - Interpretable Molecular Graph Generation via Monotonic Constraints [19.401468196146336]
ディープグラフ生成モデルは、分子設計をグラフ生成問題として扱う。
既存のモデルには多くの欠点があり、解釈性や所望の分子特性に対する制御性が低い。
本稿では,分子生成の解釈可能なモデルと深層制御可能なモデルを用いた新しい手法を提案する。
論文 参考訳(メタデータ) (2022-02-28T08:35:56Z) - Property-aware Adaptive Relation Networks for Molecular Property
Prediction [34.13439007658925]
分子特性予測問題に対する特性認識適応関係ネットワーク(PAR)を提案する。
我々のPARは、既存のグラフベースの分子エンコーダと互換性があり、プロパティ対応分子埋め込みとモデル分子関係グラフを得る能力も備えている。
論文 参考訳(メタデータ) (2021-07-16T16:22:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。