論文の概要: Understanding Structural Representation in Foundation Models for Polymers

• arxiv url: http://arxiv.org/abs/2512.11881v1
• Date: Mon, 08 Dec 2025 06:09:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:55.988583
• Title: Understanding Structural Representation in Foundation Models for Polymers
• Title（参考訳）: 高分子の基礎モデルにおける構造表現の理解
• Authors: Nathaniel H. Park, Eduardo Soares, Victor Y. Shirasuna, Tiffany J. Callahan, Sara Capponi, Emilio Vital Brazil,
• Abstract要約: SMILESに基づくポリマーグラフ表現を用いた新しい基礎モデルを提案する。 開発したポリマー基礎モデルは,28種類のベンチマークデータセットに対して優れた性能を示した。
• 参考スコア（独自算出の注目度）: 0.25289250870065627
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: From the relative scarcity of training data to the lack of standardized benchmarks, the development of foundation models for polymers face significant and multi-faceted challenges. At the core, many of these issues are tied directly to the structural representation of polymers and here, we present a new foundation model using a SMILES-based polymer graph representation. This approach allows representation of critical polymer architectural features and connectivity that are not available in other SMILES-based representations. The developed polymer foundation model exhibited excellent performance on 28 different benchmark datasets. Critical evaluation of the developed representation against other variations in control experiments reveals this approach to be a highly performant method of representing polymers in language-based foundation models. These control experiments also reveal a strong invariance of all SMILES representations, with many variations achieving state-of-the-art or near state-of-the-art performance, including those which are chemically or semantically invalid. Examination of error sources and attention maps for the evaluated representations corroborate the findings of the control experiments, showing that chemistry language models based on SMILES interpolate over all sequence space for prediction tasks, not only those of semantically valid inputs. Overall, this work highlights the importance of control experiments as a check on human-imposed assumptions that can limit rational design of both chemistry foundation models and their underlying structural representations.
• Abstract（参考訳）: トレーニングデータの相対的不足から標準化されたベンチマークの欠如に至るまで、高分子の基礎モデルの開発は重要かつ多面的な課題に直面している。 これらの問題の多くはポリマーの構造表現と直接結びついており、SMILESベースのポリマーグラフ表現を用いた新しい基礎モデルを提案する。 このアプローチは、他のSMILESベースの表現では利用できない重要なポリマーアーキテクチャの特徴と接続性の表現を可能にする。 開発したポリマー基礎モデルは,28種類のベンチマークデータセットに対して優れた性能を示した。 制御実験における他のバリエーションに対する表現の批判的評価は、言語に基づく基礎モデルにおいて、高分子を表現する高性能な方法であることを示す。 これらの制御実験はまた、全てのSMILES表現の強い不変性を示し、化学的または意味論的に無効であるものを含む、多くのバリエーションが最先端または最先端のパフォーマンスを達成する。 評価された表現に対する誤差源と注意マップの検証は、制御実験の結果と相関し、SMILESに基づく化学言語モデルが、意味論的に有効な入力だけでなく、予測タスクのすべてのシーケンス空間上で相互に介在していることを示す。 全体として、この研究は、化学基礎モデルとその基盤となる構造的表現の両方の合理的な設計を制限できる、人間による仮定のチェックとして制御実験の重要性を強調している。

関連論文リスト

• Stress-Testing Multimodal Foundation Models for Crystallographic Reasoning [2.172419551358714]
  結晶学的推論の基礎モデルを評価するには、物理的な制約を課しながら一般化挙動を分離するベンチマークが必要である。 本研究では,ストレステスト型マルチモーダル生成モデルに対する2つの物理的基盤評価プロトコルを備えたマルチスケールマルチクリスタルデータセットを提案する。
  論文  参考訳（メタデータ） (2025-06-16T02:40:33Z)
• A Survey on Mechanistic Interpretability for Multi-Modal Foundation Models [74.48084001058672]
  基礎モデルの台頭は機械学習の研究に変化をもたらした。 マルチモーダル・ファンデーション・モデル(MMFM)は、ユニモーダル・フレームワークを超えて、ユニークな解釈可能性の課題を提起する。 本研究は,(1)多モーダルモデルへのLLM解釈可能性法の適応,(2)単モーダル言語モデルとクロスモーダルシステムとの機械的差異の理解の2つの重要な側面について考察する。
  論文  参考訳（メタデータ） (2025-02-22T20:55:26Z)
• MAPS: Advancing Multi-Modal Reasoning in Expert-Level Physical Science [62.96434290874878]
  現在のMLLM(Multi-Modal Large Language Models)は、一般的な視覚的推論タスクにおいて強力な機能を示している。 我々は,MLLMに基づく物理知覚とシミュレーションによるマルチモーダル科学推論(MAPS)という新しいフレームワークを開発した。 MAPSは、専門家レベルのマルチモーダル推論タスクを物理的知覚モデル(PPM)を介して物理図理解に分解し、シミュレータを介して物理的知識で推論する。
  論文  参考訳（メタデータ） (2025-01-18T13:54:00Z)
• Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
  複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。 具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。 これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
  論文  参考訳（メタデータ） (2024-07-26T15:32:21Z)
• The Role of Model Architecture and Scale in Predicting Molecular Properties: Insights from Fine-Tuning RoBERTa, BART, and LLaMA [0.0]
  本研究では,各種ケミノフォマティクスタスクの微調整におけるLarge Language Models(LLMs)の有効性を比較するための体系的枠組みを提案する。 分子特性を予測するために,RoBERTa,BART,LLaMAの3つのモデルを評価した。 LLaMAベースのモデルは、一般的に最低限のバリデーション損失を提供しており、タスクやスケールの順応性が優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-05-02T02:20:12Z)
• TransPolymer: a Transformer-based language model for polymer property predictions [9.04563945965023]
  TransPolymerは、トランスフォーマーをベースとした、高分子特性予測のための言語モデルである。 ケミカル・アウェアネスを用いたポリマー・トークンーザは, ポリマー配列からの学習表現を可能にする。
  論文  参考訳（メタデータ） (2022-09-03T01:29:59Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Predicting Chemical Properties using Self-Attention Multi-task Learning based on SMILES Representation [0.0]
  本研究では,変圧器変圧器モデルの構造的差異について検討し,新しい自己注意モデルを提案する。 不均衡な化学データセットを用いたマルチタスク学習環境において,自己認識モジュールの表現学習性能を評価した。
  論文  参考訳（メタデータ） (2020-10-19T09:46:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。