論文の概要: SupraBench: A Benchmark for Supramolecular Chemistry

• arxiv url: http://arxiv.org/abs/2606.13477v1
• Date: Thu, 11 Jun 2026 15:29:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.886014
• Title: SupraBench: A Benchmark for Supramolecular Chemistry
• Title（参考訳）: SupraBench:超分子化学のベンチマーク
• Authors: Tianyi Ma, Yijun Ma, Zehong Wang, Weixiang Sun, Ziming Li, Connor R. Schmidt, Chuxu Zhang, Matthew J. Webber, Yanfang Ye,
• Abstract要約: Supramolecular Benchmark は SupraBench と呼ばれ,化学推論における LLM の評価を行う。 具体的には,結合親和性予測,トップバインダー選択,溶媒識別,ホストゲスト記述の4つの基本的なタスクを設計する。 また,ヨーロッパPMCから抽出したSupramolecularの16M-tokenコーパスであるSupraPMCもリリースした。
• 参考スコア（独自算出の注目度）: 37.95354107646124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supramolecular chemistry, which includes the study of non-covalent host-guest assemblies, has advanced various applications. However, designing host-guest systems remains time-consuming, requiring days of dry-lab verification per candidate pair. Although LLMs have emerged as a fast alternative with strong performance on molecular binding tasks, no benchmark currently systematically evaluates LLMs for host-guest reasoning across fundamental supramolecular chemistry tasks, e.g., binding affinity prediction. To this end, we collaborate with domain experts to release the first Supramolecular Benchmark, called SupraBench, to evaluate LLMs in chemistry reasoning. Specifically, we design four fundamental tasks, i.e., binding affinity prediction, top-binder selection, solvent identification, and host-guest description, plus an auxiliary vision-based task for molecular identification. We also release SupraPMC, a curated 16M-token corpus of Supramolecular chemistry articles distilled from Europe PMC, to support the adaptation to the supramolecular domain. We benchmark a broad range of open and proprietary LLMs and find that LLMs leave substantial headroom across all tasks. Domain adaptation pretraining over SupraPMC transfers cleanly to in-distribution regression but trades off against strict letter-format output. Moreover, the difficulty profile differs sharply across task families, revealing distinct failure modes that indicate specific gaps in current supramolecular chemistry reasoning. Our source codes and benchmark datasets are available at https://github.com/Tianyi-Billy-Ma/SupraBench.
• Abstract（参考訳）: 非共有ホストゲスト集合体の研究を含む超分子化学は、様々な応用を進歩させた。 しかし、ホストゲストシステムの設計には時間を要するため、候補ペアごとに何日もドライラブ検証を行う必要がある。 LLMは、分子結合タスクの強力な性能を持つ高速な代替品として登場したが、現在のベンチマークでは、基本的な超分子化学タスク、例えば結合親和性予測において、ホストゲスト推論のためのLSMを体系的に評価していない。 この目的のために、我々はドメインの専門家と共同で、Supramolecular Benchmark(SupraBench)と呼ばれる最初のSupramolecular Benchmarkをリリースし、化学推論におけるLSMを評価する。 具体的には、結合親和性予測、トップバインダー選択、溶媒識別、ホストゲスト記述の4つの基本的なタスクと、分子識別のための補助視覚ベースのタスクを設計する。 また,超分子ドメインへの適応を支援するため,ヨーロッパPMCから蒸留したSupramolecularの16M-tokenコーパスであるSupraPMCもリリースした。 オープンでプロプライエタリなLLMをベンチマークした結果、LLMはすべてのタスクにかなりのヘッドルームを残していることがわかった。 SupraPMC上で事前訓練されたドメイン適応は、不分配レグレッションにきれいに転送されるが、厳密な文字フォーマット出力とは対照的である。 さらに、難易度プロファイルはタスクファミリーによって大きく異なり、現在の超分子化学推論における特定のギャップを示す異なる障害モードが明らかにされている。 ソースコードとベンチマークデータセットはhttps://github.com/Tianyi-Billy-Ma/SupraBench.comで公開されています。

関連論文リスト

• Rethinking Molecular Text Representations for LLMs: An Empirical Study [1.7197939141715162]
  大規模言語モデル (LLMs) は分子的タスクにますます使われているが、どの分子的表現を使うべきかは定かではない。 推論や非推論型を含む5つのモデルファミリーにわたる16のLSMをベンチマークする。 CMLが最高であり、次にMollJSON、InChI、そして標準SMILESが続く。
  論文  参考訳（メタデータ） (2026-06-02T02:45:41Z)
• MolLingo: Molecule-Native Representations for LLM-Powered Scientific Agents [57.28652712579434]
  分子設計を自動化するために化学者の推論過程をエミュレートするマルチエージェントシステムであるMolLingoを提案する。 MolLingoは、共有メモリモジュールを通じて、文学エージェント、化学エージェント、オーケストレーションをコーディネートすることで、この問題に対処する。 初期治療設計におけるケーススタディとして、MolLingoは、結合部位の幾何学と残基レベルのタンパク質コンテキストにおけるChemist Agentの推論を根拠にしている。
  論文  参考訳（メタデータ） (2026-05-27T02:11:23Z)
• MolRGen: A Training and Evaluation Setting for De Novo Molecular Generation with Reasonning Models [48.34354151490484]
  我々は、推論に基づく大規模言語モデルのトレーニングと評価のためのベンチマークとデータセットであるMorRGenを紹介する。 まず,textitde novo分子生成と特性予測のためのモデルの評価と訓練を行う。 第2に、生成分子の品質と多様性の両方をキャプチャする、多様性を意識した新しいトップ・ドルスコアを導入する。
  論文  参考訳（メタデータ） (2026-03-18T20:21:04Z)
• How well can off-the-shelf LLMs elucidate molecular structures from mass spectra using chain-of-thought reasoning? [51.286853421822705]
  大規模言語モデル (LLM) は推論集約的な科学的タスクを約束するが、化学的解釈の能力はまだ不明である。 我々は、分子構造を予測するために、LLMが質量スペクトルデータに対してどのように理由を持つかを評価する、Chain-of-Thought(CoT)プロンプトフレームワークとベンチマークを導入する。 SMILESの妥当性, 式整合性, 構造的類似性の指標による評価の結果, LLMは合成学的に有効で, 部分的に可視な構造を生成できるが, 分子予測の正確性やリンク推論を達成できないことがわかった。
  論文  参考訳（メタデータ） (2026-01-09T20:08:42Z)
• Atom-anchored LLMs speak Chemistry: A Retrosynthesis Demonstration [2.9496795797433073]
  汎用大言語モデルを用いた分子推論のためのフレームワークを提案する。 本手法は, ユニークな原子識別子を用いて分子構造に対するチェーン・オブ・シント推論をアンカーする。 我々の研究は、理論的に基底付けられた合成データセットを生成する方法も提供する。
  論文  参考訳（メタデータ） (2025-10-18T17:27:44Z)
• Improving Chemical Understanding of LLMs via SMILES Parsing [18.532188836688928]
  CLEANMOLは、SMILES解析をクリーンで決定論的タスクのスイートに定式化する新しいフレームワークである。 適応的難易度スコアリングを伴う分子事前学習データセットを構築し,これらの課題に対してオープンソースのLCMを事前学習する。 以上の結果から,CLEANMOLは構造的理解を高めるだけでなく,Moll-Instructionsベンチマークのベースラインと競合する。
  論文  参考訳（メタデータ） (2025-05-22T07:54:39Z)
• ChemEval: A Comprehensive Multi-Level Chemical Evaluation for Large Language Models [62.37850540570268]
  この領域の既存のベンチマークは、化学研究専門家の特定の要求を適切に満たさない。 ChemEvalは化学の4つの重要な進歩レベルを特定し、42の異なる化学タスクで12次元のLCMを評価する。 その結果, LLMは文献の理解と指導に優れる一方で, 高度な化学知識を必要とするタスクでは不足していることがわかった。
  論文  参考訳（メタデータ） (2024-09-21T02:50:43Z)
• Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
  大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。 本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。 分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-11T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。