論文の概要: Seeing and Understanding: Bridging Vision with Chemical Knowledge Via ChemVLM

• arxiv url: http://arxiv.org/abs/2408.07246v1
• Date: Wed, 14 Aug 2024 01:16:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 14:35:46.730496
• Title: Seeing and Understanding: Bridging Vision with Chemical Knowledge Via ChemVLM
• Title（参考訳）: 観察と理解 - ChemVLMによる化学知識によるブリッジングビジョン
• Authors: Junxian Li, Di Zhang, Xunzhi Wang, Zeying Hao, Jingdi Lei, Qian Tan, Cai Zhou, Wei Liu, Weiyun Wang, Zhe Chen, Wenhai Wang, Wei Li, Shufei Zhang, Mao Su, Wanli Ouyang, Yuqiang Li, Dongzhan Zhou,
• Abstract要約: 化学分野に特化したオープンソースのマルチモーダル大規模言語モデルであるChemVLMを提案する。 我々はChemLLM-20Bを基礎的な大規模モデルとして活用し、化学テキスト知識の理解と活用に頑健な能力を持つモデルを構築した。 分子,反応公式,化学試験データなど,化学領域からの高品質なデータを収集し,バイリンガル・マルチモーダル質問応答データセットにコンパイルした。
• 参考スコア（独自算出の注目度）: 51.77759441598974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this technical report, we propose ChemVLM, the first open-source multimodal large language model dedicated to the fields of chemistry, designed to address the incompatibility between chemical image understanding and text analysis. Built upon the VIT-MLP-LLM architecture, we leverage ChemLLM-20B as the foundational large model, endowing our model with robust capabilities in understanding and utilizing chemical text knowledge. Additionally, we employ InternVIT-6B as a powerful image encoder. We have curated high-quality data from the chemical domain, including molecules, reaction formulas, and chemistry examination data, and compiled these into a bilingual multimodal question-answering dataset. We test the performance of our model on multiple open-source benchmarks and three custom evaluation sets. Experimental results demonstrate that our model achieves excellent performance, securing state-of-the-art results in five out of six involved tasks. Our model can be found at https://huggingface.co/AI4Chem/ChemVLM-26B.
• Abstract（参考訳）: 本稿では,ケミカルイメージ理解とテキスト解析の不整合性に対処するために,化学分野に特化した初のオープンソースマルチモーダル大規模言語モデルであるChemVLMを提案する。 VIT-MLP-LLMアーキテクチャを基盤として,ChemLLM-20Bを基礎となる大規模モデルとして活用し,化学テキスト知識の理解と活用に堅牢な能力を備えたモデルを構築した。 また、強力な画像エンコーダとしてInternVIT-6Bを用いる。 分子,反応公式,化学試験データなど,化学領域からの高品質なデータを収集し,バイリンガル・マルチモーダル質問応答データセットにコンパイルした。 複数のオープンソースベンチマークと3つのカスタム評価セットで,本モデルの性能を検証した。 実験結果から,6つのタスクのうち5つのタスクにおいて,本モデルが優れた性能を達成できることが確認された。 私たちのモデルはhttps://huggingface.co/AI4Chem/ChemVLM-26Bで確認できます。

関連論文リスト

• ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning [64.2106664137118]
  ChemAgentは,大規模言語モデル(LLM)の性能向上を目的とした,新しいフレームワークである。 化学タスクをサブタスクに分解し、これらのサブタスクを将来のクエリに参照可能な構造化されたコレクションにコンパイルすることで開発される。 新しい問題を提示すると、ChemAgentは、私たちがメモリと呼ぶライブラリから関連する情報を検索し、精査する。
  論文  参考訳（メタデータ） (2025-01-11T17:10:30Z)
• From Generalist to Specialist: A Survey of Large Language Models for Chemistry [14.317448405387195]
  大言語モデル(LLM)は我々の日常生活を大きく変え、自然言語処理(NLP)の新しいパラダイムを確立した。 LLMの大規模なWebベースのテキストへの事前学習は、特に化学において先進的な科学的発見には不十分である。 化学におけるプレトレインド言語モデル(PLM)について、いくつかの研究がレビューされているが、化学指向のLSMに特に焦点を絞った系統的な調査は、顕著に行われていない。
  論文  参考訳（メタデータ） (2024-12-28T03:40:25Z)
• ChemEval: A Comprehensive Multi-Level Chemical Evaluation for Large Language Models [62.37850540570268]
  この領域の既存のベンチマークは、化学研究専門家の特定の要求を適切に満たさない。 ChemEvalは化学の4つの重要な進歩レベルを特定し、42の異なる化学タスクで12次元のLCMを評価する。 その結果, LLMは文献の理解と指導に優れる一方で, 高度な化学知識を必要とするタスクでは不足していることがわかった。
  論文  参考訳（メタデータ） (2024-09-21T02:50:43Z)
• ChemDFM-X: Towards Large Multimodal Model for Chemistry [16.811223849365483]
  化学用クロスモーダル対話基盤モデル(ChemDFM-X)について紹介する。 近似計算とタスク固有モデル予測により、初期モダリティから、多様なマルチモーダルデータを生成する。 ChemDFM-Xは、様々なデータモダリティを持つ様々な化学タスクの広範な実験で評価される。
  論文  参考訳（メタデータ） (2024-09-20T03:55:34Z)
• ChemLLM: A Chemical Large Language Model [49.308528569982805]
  大規模言語モデル(LLM)は化学応用において顕著な進歩を遂げた。 しかし、コミュニティには化学に特化したLLMが欠落している。 本稿では,化学に特化した最初のLLMを特徴とする包括的フレームワークであるChemLLMを紹介する。
  論文  参考訳（メタデータ） (2024-02-10T01:11:59Z)
• ChemDFM: A Large Language Foundation Model for Chemistry [27.864255196445324]
  より汎用的で効率的なソリューションは、多くのタスクに対処し、幅広い化学分野における自由形式の対話をサポートするAIモデルである。 我々は化学文献や教科書から34Bトークンを学習し、2.7Mインストラクションを用いて微調整した化学用LLMのパイオニアであるChemDFMを開発した。 我々はHuggingface上のChemDFMの推論コード、評価データセット、モデルウェイトをオープンソース化した。
  論文  参考訳（メタデータ） (2024-01-26T12:45:55Z)
• Structured Chemistry Reasoning with Large Language Models [70.13959639460015]
  大規模言語モデル(LLMs)は様々な分野において優れているが、特に化学において複雑な科学的推論に苦慮している。 所望のガイダンスを提供し,LSMの化学的推論能力を大幅に向上させる,シンプルで効果的なプロンプト戦略であるStructChemを紹介した。 量子化学、力学、物理化学、運動学の4分野にわたる試験では、StructChemはGPT-4の性能を大幅に向上させ、最大30%のピーク改善を実現している。
  論文  参考訳（メタデータ） (2023-11-16T08:20:36Z)
• Multi-modal Molecule Structure-text Model for Text-based Retrieval and Editing [107.49804059269212]
  分子の化学構造とテキスト記述を共同で学習し, マルチモーダルな分子構造テキストモデル, MoleculeSTMを提案する。 実験において、分子STMは、新しい生化学的概念を創出するための最先端の一般化能力を得る。
  論文  参考訳（メタデータ） (2022-12-21T06:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。