論文の概要: ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering

• arxiv url: http://arxiv.org/abs/2407.16931v1
• Date: Wed, 24 Jul 2024 01:46:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 15:12:43.190686
• Title: ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering
• Title（参考訳）: ScholarChemQA: 化学研究における言語モデルの力の解明
• Authors: Xiuying Chen, Tairan Wang, Taicheng Guo, Kehan Guo, Juexiao Zhou, Haoyang Li, Mingchen Zhuge, Jürgen Schmidhuber, Xin Gao, Xiangliang Zhang,
• Abstract要約: 質問回答(QA)は、言語モデルの推論と知識の深さを効果的に評価する。 化学QAは、複雑な化学情報を理解しやすい形式に効果的に翻訳することで、教育と研究の両方において重要な役割を担っている。 このデータセットは、不均衡なデータ分散や、潜在的に有用である可能性のあるかなりの量の未ラベルデータを含む、典型的な現実世界の課題を反映している。 収集したデータを完全に活用して,化学的な問題に効果的に答えるQAMatchモデルを提案する。
• 参考スコア（独自算出の注目度）: 54.80411755871931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Question Answering (QA) effectively evaluates language models' reasoning and knowledge depth. While QA datasets are plentiful in areas like general domain and biomedicine, academic chemistry is less explored. Chemical QA plays a crucial role in both education and research by effectively translating complex chemical information into readily understandable format. Addressing this gap, we introduce ScholarChemQA, a large-scale QA dataset constructed from chemical papers. This dataset reflects typical real-world challenges, including an imbalanced data distribution and a substantial amount of unlabeled data that can be potentially useful. Correspondingly, we introduce a QAMatch model, specifically designed to effectively answer chemical questions by fully leveraging our collected data. We first address the issue of imbalanced label distribution by re-weighting the instance-wise loss based on the inverse frequency of each class, ensuring minority classes are not dominated by majority ones during optimization. Next, we utilize the unlabeled data to enrich the learning process, generating a variety of augmentations based on a SoftMix operation and ensuring their predictions align with the same target, i.e., pseudo-labels. To ensure the quality of the pseudo-labels, we propose a calibration procedure aimed at closely aligning the pseudo-label estimates of individual samples with a desired ground truth distribution. Experiments show that our QAMatch significantly outperforms the recent similar-scale baselines and Large Language Models (LLMs) not only on our ScholarChemQA dataset but also on four benchmark datasets. We hope our benchmark and model can facilitate and promote more research on chemical QA.
• Abstract（参考訳）: 質問回答(QA)は、言語モデルの推論と知識の深さを効果的に評価する。 QAデータセットは一般ドメインやバイオメディシンのような領域では豊富だが、学術的な化学は研究されていない。 化学QAは、複雑な化学情報を理解しやすい形式に効果的に翻訳することで、教育と研究の両方において重要な役割を担っている。 このギャップに対処するため,化学論文から構築した大規模QAデータセットであるScholarChemQAを紹介する。 このデータセットは、不均衡なデータ分散や、潜在的に有用である可能性のあるかなりの量の未ラベルデータを含む、典型的な現実世界の課題を反映している。 これに対応して、収集したデータを完全に活用して、化学的な疑問に効果的に答えるように設計されたQAMatchモデルを導入する。 まず、各クラスの逆周波数に基づいてインスタンス単位の損失を再重み付けし、最適化時にマイノリティクラスが多数派に支配されないようにすることで、不均衡なラベル分布の問題に対処する。 次に、ラベルのないデータを用いて学習プロセスを強化し、SoftMix操作に基づいて様々な拡張を生成し、それらの予測が同じターゲット、すなわち擬似ラベルと整合することを保証する。 擬似ラベルの品質を確保するために,個々のサンプルの擬似ラベル推定を所望の真理分布と密接に整合させるキャリブレーション手法を提案する。 実験の結果、我々のQAMatchはScholarChemQAデータセットだけでなく、4つのベンチマークデータセットでも、最近の類似のベースラインとLarge Language Models(LLMs)を大きく上回っていることがわかった。 当社のベンチマークとモデルが化学QA研究の促進と促進を期待する。

関連論文リスト

• Investigating the Impact of Hard Samples on Accuracy Reveals In-class Data Imbalance [4.291589126905706]
  AutoMLドメインでは、モデルの有効性を評価するための重要な指標として、テスト精度が宣言される。 しかし、主性能指標としての試験精度の信頼性は疑問視されている。 トレーニングセットとテストセット間のハードサンプルの分布は、これらのセットの難易度に影響を与える。 本稿では,ハードサンプル識別法を比較するためのベンチマーク手法を提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:38:14Z)
• A Large Encoder-Decoder Family of Foundation Models For Chemical Language [1.1073864511426255]
  本稿では,PubChemから得られた9100万個のSMILESサンプルを事前学習した大規模エンコーダ・デコーダ化学基礎モデルを提案する。 複数のベンチマークデータセットにまたがる実験は、様々なタスクに対して最先端の結果を提供する際に提案したモデルのキャパシティを検証する。
  論文  参考訳（メタデータ） (2024-07-24T20:30:39Z)
• Analysis of Atom-level pretraining with Quantum Mechanics (QM) data for Graph Neural Networks Molecular property models [0.0]
  量子力学(QM)データを用いた原子レベルの事前トレーニングは、トレーニングデータとテストデータ間の分布類似性に関する仮定違反を軽減することができることを示す。 隠れ状態の分子表現を解析し、QMデータに対する分子レベルと原子レベルの事前学習の効果を比較するのは、これが初めてである。
  論文  参考訳（メタデータ） (2024-05-23T17:51:05Z)
• Single and Multi-Hop Question-Answering Datasets for Reticular Chemistry with GPT-4-Turbo [0.5110571587151475]
  RetChemQA"は、レチキュラー化学領域における機械学習モデルの能力を評価するために設計されたベンチマークデータセットである。 このデータセットには、シングルホップとマルチホップの問合せペアの両方が含まれており、各タイプのQ&Aは約45,000である。 質問は、NAS、ACS、RCC、Elsevier、Nature Publishing Groupなどの出版社から約2,530の学術論文を含む広範な文献コーパスから抽出された。
  論文  参考訳（メタデータ） (2024-05-03T14:29:54Z)
• Active Causal Learning for Decoding Chemical Complexities with Targeted Interventions [0.0]
  そこで本研究では,戦略的サンプリングを通じて原因・影響関係を識別する能動的学習手法を提案する。 この方法は、より大きな化学空間の最も多くの情報を符号化できるデータセットの最小サブセットを特定する。 その後、同定された因果関係を利用して体系的な介入を行い、モデルがこれまで遭遇していなかった化学空間における設計タスクを最適化する。
  論文  参考訳（メタデータ） (2024-04-05T17:15:48Z)
• QASnowball: An Iterative Bootstrapping Framework for High-Quality Question-Answering Data Generation [67.27999343730224]
  QAデータ拡張のための反復型ブートストラップフレームワーク(QASnowball)を導入する。 QASnowballは、教師付きサンプルのシードセットに基づいて、大規模で高品質なQAデータを反復的に生成することができる。 本研究では, 高資源の英語シナリオと中資源の中国語シナリオで実験を行い, 実験結果から, QASnowball が生成したデータによりQAモデルを容易に作成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-19T05:20:36Z)
• Federated Learning of Molecular Properties in a Heterogeneous Setting [79.00211946597845]
  これらの課題に対処するために、フェデレーションヘテロジニアス分子学習を導入する。 フェデレートラーニングにより、エンドユーザは、独立したクライアント上に分散されたトレーニングデータを保存しながら、グローバルモデルを協調的に構築できる。 FedChemは、化学におけるAI改善のための新しいタイプのコラボレーションを可能にする必要がある。
  論文  参考訳（メタデータ） (2021-09-15T12:49:13Z)
• Unassisted Noise Reduction of Chemical Reaction Data Sets [59.127921057012564]
  本稿では,データセットから化学的に間違ったエントリを除去するための,機械学習に基づく無支援アプローチを提案する。 その結果,クリーン化およびバランスの取れたデータセットでトレーニングしたモデルの予測精度が向上した。
  論文  参考訳（メタデータ） (2021-02-02T09:34:34Z)
• Deep Learning for Virtual Screening: Five Reasons to Use ROC Cost Functions [80.12620331438052]
  深層学習は サイリコの何十億もの分子を 迅速にスクリーニングする 重要なツールとなりました その重要性にもかかわらず、厳密なクラス不均衡、高い決定しきい値、いくつかのデータセットにおける基底真理ラベルの欠如など、これらのモデルのトレーニングにおいて重大な課題が続いている。 このような場合、クラス不均衡に対するロバスト性から、レシーバ動作特性(ROC)を直接最適化することを好んで論じる。
  論文  参考訳（メタデータ） (2020-06-25T08:46:37Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。