論文の概要: Exploring Hierarchical Molecular Graph Representation in Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2411.04708v1
• Date: Thu, 07 Nov 2024 13:45:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:37:56.081181
• Title: Exploring Hierarchical Molecular Graph Representation in Multimodal LLMs
• Title（参考訳）: 多モードLDMにおける階層的分子グラフ表現の探索
• Authors: Chengxin Hu, Hao Li,
• Abstract要約: 大規模言語モデル (LLM) とマルチモーダルモデル (Multimodal model) は、LLMを生化学的タスクに適用する機会が急増している。 まず,GNN生成した特徴トークンを融合させることにより,特徴粒度の影響について検討する。 次に,LLM生成分子の品質と,異なるタスクにおける性能の両方が,異なる特徴レベルから恩恵を受けることを確かめ,様々な特徴レベルが性能に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 6.221851249300585
• License:
• Abstract: Following the milestones in large language models (LLMs) and multimodal models, we have seen a surge in applying LLMs to biochemical tasks. Leveraging graph features and molecular text representations, LLMs can tackle various tasks, such as predicting chemical reaction outcomes and describing molecular properties. However, most current work overlooks the multi-level nature of graph features. The impact of different feature levels on LLMs and the importance of each level remain unexplored, and it is possible that different chemistry tasks require different feature levels. In this work, we first investigate the effect of feature granularity by fusing GNN-generated feature tokens, discovering that even reducing all tokens to a single token does not significantly impact performance. We then explore the effect of various feature levels on performance, finding that both the quality of LLM-generated molecules and performance on different tasks benefit from different feature levels. We conclude with two key insights: (1) current molecular Multimodal LLMs(MLLMs) lack a comprehensive understanding of graph features, and (2) static processing is not sufficient for hierarchical graph feature. Our code will be publicly available soon.
• Abstract（参考訳）: 大規模言語モデル (LLM) とマルチモーダルモデル (Multimodal model) のマイルストーンに続いて, LLM の生化学への応用が急増している。 グラフの特徴と分子テキスト表現を活用することで、LCMは化学反応の結果の予測や分子特性の記述など、様々なタスクに取り組むことができる。 しかし、現在の作業のほとんどは、グラフ機能のマルチレベルの性質を見落としている。 異なる特徴レベルがLLMに与える影響と各レベルの重要性は未解明のままであり、異なる化学タスクは異なる特徴レベルを必要とする可能性がある。 本稿では,まず,GNN生成した特徴トークンを融合させることにより,特徴粒度の影響について検討する。 次に,LLM生成分子の品質と,異なるタスクにおける性能の両方が,異なる特徴レベルから恩恵を受けることを確かめ,様々な特徴レベルが性能に与える影響について検討する。 1)現在の分子マルチモーダルLSM(MLLM)はグラフの特徴の包括的理解に欠けており、(2)静的処理は階層グラフの特徴に不十分である。 私たちのコードはまもなく公開されます。

関連論文リスト

• MolCap-Arena: A Comprehensive Captioning Benchmark on Language-Enhanced Molecular Property Prediction [44.27112553103388]
  分子特性予測を拡張した大規模言語モデル(LLM)の最初の包括的なベンチマークである分子キャプションアリーナを提示する。 汎用分子キャプタとドメイン特異的分子キャプタを含む20以上のLDMを,様々な予測タスクで評価した。 以上の結果から,LLM抽出した知識が最先端の分子表現を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-01T17:03:16Z)
• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
  グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。 本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。 評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T12:37:54Z)
• Benchmarking Large Language Models for Molecule Prediction Tasks [7.067145619709089]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクの最前線にある。 LLMは分子予測タスクを効果的に扱えるのか? 6つの標準分子データセットの分類および回帰予測タスクを同定する。 テキストベースのモデルと、分子の幾何学的構造を分析するために特別に設計されたモデルを含む、既存の機械学習(ML)モデルと比較する。
  論文  参考訳（メタデータ） (2024-03-08T05:59:56Z)
• Mementos: A Comprehensive Benchmark for Multimodal Large Language Model Reasoning over Image Sequences [80.54979242912944]
  本稿では,MLLMの逐次画像推論能力を評価するためのベンチマークであるMementosを紹介する。 MLLMは与えられた画像列の動的情報を正確に記述するのに苦労しており、しばしば幻覚/誤表現につながる。
  論文  参考訳（メタデータ） (2024-01-19T07:10:13Z)
• LLM4DyG: Can Large Language Models Solve Spatial-Temporal Problems on Dynamic Graphs? [56.85995048874959]
  本稿では,大規模言語モデルの動的グラフ上での時空間理解能力を評価することを提案する。 我々は、異なるデータ生成装置、データ統計、プロンプト技術、LLMがモデル性能に与える影響を分析する実験を行う。 最後に, LLM の時空間理解能力を高めるために, 動的グラフ上の LLM に対する Disentangled Spatial-Temporal Thoughts (DST2) を提案する。
  論文  参考訳（メタデータ） (2023-10-26T02:37:43Z)
• UniMAP: Universal SMILES-Graph Representation Learning [21.25038529787392]
  ユニバーサルSMILEグラフ表現学習モデル(UniMAP)を提案する。 CMM(Multi-Level Cross-Modality Masking)、SMILES-Graph Matching(SGM)、FLA(Fragment-Level Alignment)、ドメイン知識学習(DKL)の4種類の事前学習タスクがユニマップ向けに設計されている。 実験の結果,UniMAPは最先端の事前学習方法よりも優れていた。
  論文  参考訳（メタデータ） (2023-10-22T07:48:33Z)
• Can Large Language Models Empower Molecular Property Prediction? [16.5246941211725]
  分子特性の予測は、科学分野における形質転換の可能性によって大きな注目を集めている。 近年,Large Language Models (LLMs) が急速に発展し,NLPの分野に革命をもたらした。 本研究では、ゼロ/フェーショットの分子分類と、LLMによって生成された新しい説明を分子の表現として用いるという2つの視点を通して、この目的に向けて前進する。
  論文  参考訳（メタデータ） (2023-07-14T16:06:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。