論文の概要: Universally Converging Representations of Matter Across Scientific Foundation Models

• arxiv url: http://arxiv.org/abs/2512.03750v1
• Date: Wed, 03 Dec 2025 12:47:06 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-04 12:02:12.848249
• Title: Universally Converging Representations of Matter Across Scientific Foundation Models
• Title（参考訳）: 科学財団モデル全体での諸問題表現の普遍的収束
• Authors: Sathya Edamadaka, Soojung Yang, Ju Li, Rafael Gómez-Bombarelli,
• Abstract要約: 約60の科学的モデルによって学習された表現は、幅広い化学系に高度に整列していることを示す。 トレーニング中に見られるような入力について、ハイパフォーマンスモデルは密接に整列し、弱いモデルは表現空間において局所的な部分オプティマに発散する。 本研究は,科学モデルにおける基礎レベルの一般化の定量的ベンチマークとして,表現アライメントを確立した。
• 参考スコア（独自算出の注目度）: 5.309886698585678
• License:
• Abstract: Machine learning models of vastly different modalities and architectures are being trained to predict the behavior of molecules, materials, and proteins. However, it remains unclear whether they learn similar internal representations of matter. Understanding their latent structure is essential for building scientific foundation models that generalize reliably beyond their training domains. Although representational convergence has been observed in language and vision, its counterpart in the sciences has not been systematically explored. Here, we show that representations learned by nearly sixty scientific models, spanning string-, graph-, 3D atomistic, and protein-based modalities, are highly aligned across a wide range of chemical systems. Models trained on different datasets have highly similar representations of small molecules, and machine learning interatomic potentials converge in representation space as they improve in performance, suggesting that foundation models learn a common underlying representation of physical reality. We then show two distinct regimes of scientific models: on inputs similar to those seen during training, high-performing models align closely and weak models diverge into local sub-optima in representation space; on vastly different structures from those seen during training, nearly all models collapse onto a low-information representation, indicating that today's models remain limited by training data and inductive bias and do not yet encode truly universal structure. Our findings establish representational alignment as a quantitative benchmark for foundation-level generality in scientific models. More broadly, our work can track the emergence of universal representations of matter as models scale, and for selecting and distilling models whose learned representations transfer best across modalities, domains of matter, and scientific tasks.
• Abstract（参考訳）: 分子、材料、タンパク質の振る舞いを予測するために、非常に異なるモダリティとアーキテクチャの機械学習モデルが訓練されている。 しかし、それらが類似した内部表現を学ぶかどうかは不明である。 彼らの潜在構造を理解することは、彼らの訓練領域を超えて確実に一般化する科学基盤モデルを構築するために不可欠である。 表現の収束は言語や視覚で観測されているが、科学におけるその対応は体系的に研究されていない。 ここでは,60近い科学的モデルによって学習された表現が,文字列,グラフ,3次元原子論,タンパク質に基づくモダリティにまたがって,幅広い化学系に高度に整列していることを示す。 異なるデータセットで訓練されたモデルは、小さな分子の非常に類似した表現を持ち、機械学習の原子間ポテンシャルは、性能が向上するにつれて表現空間に収束する。 トレーニング中に見られるような入力では、ハイパフォーマンスなモデルが密接に整合し、弱いモデルは表現空間において局所的なオプティマに分岐し、トレーニング中に見られるモデルとは大きく異なる構造では、ほぼ全てのモデルが低情報表現に崩壊し、今日のモデルはトレーニングデータと帰納的バイアスによって制限され続けており、真の普遍的な構造をコードしていないことを示す。 本研究は,科学モデルにおける基礎レベルの一般化の定量的ベンチマークとして,表現アライメントを確立した。 より広範に、我々の研究は、モデルスケールとしての物質の普遍的表現の出現を追跡でき、学習された表現がモダリティ、物質領域、科学的なタスクに最もよく移るモデルを選択して蒸留することができる。

関連論文リスト

• Foundation Models for Discovery and Exploration in Chemical Space [57.97784111110166]
  MISTは、大規模なラベルなしデータセットに基づいて訓練された分子基盤モデルのファミリーである。 我々は、これらのモデルが化学空間をまたいだ現実世界の問題を解決する能力を実証する。
  論文  参考訳（メタデータ） (2025-10-20T17:56:01Z)
• A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers [251.23085679210206]
  科学大規模言語モデル(Sci-LLMs)は、科学研究において、知識の表現、統合、適用の方法を変えつつある。 この調査は、モデルとその基盤となるデータ基板の共進化として、Sci-LLMの開発を再考する。 我々は、科学的データの統一された分類法と、科学的知識の階層的なモデルを定式化する。
  論文  参考訳（メタデータ） (2025-08-28T18:30:52Z)
• UNIFORM: Unifying Knowledge from Large-scale and Diverse Pre-trained Models [62.76435672183968]
  UNIFORMと呼ばれる新しいフレームワークを導入し、多様なオフザシェルフモデルから1つの学生モデルへ知識を伝達する。 本稿では,ロジットレベルでも機能レベルでも知識のコンセンサスを捉えるための,専用の投票機構を提案する。 UNIFORMは、強い知識伝達ベースラインに比べて、教師なしオブジェクト認識性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2025-08-27T00:56:11Z)
• A Markov Categorical Framework for Language Modeling [9.910562011343009]
  自己回帰言語モデルは、優れたパフォーマンスを達成するが、内部メカニズム、訓練が表現をどのように形作り、複雑な振る舞いを可能にするかを説明する統一理論は、いまだ解明されていない。 本稿では,マルコフカテゴリーの言語を用いた情報処理段階の合成として,単一ステップ生成過程をモデル化する新しい分析フレームワークを提案する。 この研究は、モデルを通して情報がどのように流れ、訓練対象が内部形状をどう形成するかを理解するための強力な新しいレンズを提供する。
  論文  参考訳（メタデータ） (2025-07-25T13:14:03Z)
• Towards Physically Interpretable World Models: Meaningful Weakly Supervised Representations for Visual Trajectory Prediction [0.1534667887016089]
  本稿では,学習した潜在表現と実世界の物理量とを一致させる新しいアーキテクチャを提案する。 3つのケーススタディは,本手法が物理的解釈可能性および正確な状態予測を実現することを実証している。
  論文  参考訳（メタデータ） (2024-12-17T12:51:24Z)
• Intriguing Equivalence Structures of the Embedding Space of Vision Transformers [1.7418480517632609]
  事前訓練された大規模な基盤モデルは、最近の人工知能の急増において中心的な役割を果たす。 それら固有の複雑さのため、これらのモデルはよく理解されていない。 解析および系統的な実験により、表現空間は大きな片方向線型部分空間からなることを示す。
  論文  参考訳（メタデータ） (2024-01-28T04:59:51Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Geometric and Topological Inference for Deep Representations of Complex Networks [13.173307471333619]
  我々は、トポロジと表現の幾何学を強調する統計のクラスを提示する。 モデル選択に使用する場合の感度と特異性の観点から,これらの統計値を評価する。 これらの新しい手法により、脳やコンピューター科学者は、脳やモデルによって学習された動的表現変換を可視化することができる。
  論文  参考訳（メタデータ） (2022-03-10T17:14:14Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。