論文の概要: Speaking the Language of Science: Toward a General-Purpose Generative Foundation Model for the Natural Sciences

• arxiv url: http://arxiv.org/abs/2606.16905v1
• Date: Mon, 15 Jun 2026 16:14:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.756104
• Title: Speaking the Language of Science: Toward a General-Purpose Generative Foundation Model for the Natural Sciences
• Title（参考訳）: 科学の言語を語る:自然科学のための汎用生成基盤モデルを目指して
• Authors: Mingyang Li, Yurou Liu, Jieping Ye, Bing Su, Ji-Rong Wen, Zheng Wang,
• Abstract要約: LOGOSは、自然科学における異種タスクを統一する科学生成言語モデルである。 空間的接触パターンと制約パターンを離散トークンとして表現することにより、モデルは純粋にシーケンシャルな方法で複雑な構造的相互作用をキャプチャする。 多様なタスクにわたって、LOGOSは一貫してドメイン固有のベースラインにマッチまたは性能を向上する。
• 参考スコア（独自算出の注目度）: 89.71422932447423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this report, we present LOGOS (Language Of Generative Objects in Science), a scientific generative language model that unifies heterogeneous tasks across the natural sciences within a single autoregressive framework based on a shared scientific grammar. It encodes diverse scientific objects and their spatial interactions as token sequences over a common vocabulary. By representing spatial contact and constraint patterns as discrete tokens, the model captures complex structural interactions in a purely sequential manner, without relying on explicit coordinates or geometric neural networks. This unified representation enables a wide range of downstream tasks to be formulated consistently as next-token prediction in the same grammar space, creating strong alignment between continued multi-domain pre-training and downstream objectives. Across diverse tasks, LOGOS consistently matches or outperforms domain-specific baselines, providing preliminary evidence for the feasibility of "one model fits all" in the natural sciences. We train LOGOS models at different scales (1B, 3B, and 8B parameters) and find a consistent positive correlation between model size and performance. This suggests that the future of AI for Science (AI4S) may not lie in building an independent technical stack that is separated from large language models (LLMs). Instead, it may depend on deeply aligning scientific foundation models with LLMs through shared architectures, shared training paradigms, and shared inference infrastructure, so that LLMs can truly become a new entry point for AI4S. We release the model weights and associated resources to facilitate further research.
• Abstract（参考訳）: 本報告では,自然科学における異種タスクを,共有科学文法に基づく単一自己回帰フレームワーク内で統一する科学生成言語モデルであるLOGOS(Language of Generative Objects in Science)を提案する。 様々な科学的対象とそれらの空間的相互作用を共通の語彙上のトークンシーケンスとしてエンコードする。 空間的接触パターンと制約パターンを離散トークンとして表現することにより、モデルは、明示的な座標や幾何学的ニューラルネットワークに頼ることなく、純粋にシーケンシャルな方法で複雑な構造的相互作用をキャプチャする。 この統一表現は、幅広い下流タスクを同じ文法空間における次トーケン予測として一貫して定式化することができ、継続するマルチドメイン事前学習と下流目的との強い整合性を生み出す。 様々なタスクにまたがって、LOGOSは、自然科学における「一つのモデルがすべてに適合する」可能性の予備的な証拠として、ドメイン固有のベースラインを一貫して一致または上回る。 我々は,LOGOSモデルを異なるスケール(1B,3B,8Bパラメータ)でトレーニングし,モデルサイズと性能との間に一貫した正の相関関係を求める。 これは、AI for Science(AI4S)の将来が、大規模言語モデル(LLM)から切り離された独立した技術的スタックの構築に関係していないことを示唆している。 代わりに、共有アーキテクチャ、共有トレーニングパラダイム、共有推論インフラストラクチャを通じて、科学基盤モデルとLLMとの深い整合性に依存するため、LLMがAI4Sの新たなエントリポイントになる可能性がある。 我々は、さらなる研究を促進するために、モデルウェイトと関連するリソースをリリースする。

関連論文リスト

• Unsupervised Learning of Inter-Object Relationships via Group Homomorphism [3.8731899020772165]
  本研究では,グループ操作における階層的関係に基づく教師なし表現学習手法を提案する。 実験により,モデルが複数のオブジェクトを個別のスロットに分割できることを示す。 結果は、代数的幾何学的制約を導入することにより、物理的に解釈可能な「異方表現」が得られることを示唆している。
  論文  参考訳（メタデータ） (2026-04-22T07:17:00Z)
• Hyperbolic Large Language Models [7.483401973996036]
  大規模言語モデル(LLM)は目覚ましい成功を収め、様々なタスクで優れた性能を示した。 しかし、現実の多くのデータは、タンパク質ネットワーク、輸送ネットワーク、金融ネットワーク、脳ネットワーク、言語構造や構文木など、非ユークリッドの潜在階層構造を示す。 本稿では,表現空間として双曲幾何学を活用し,意味表現学習とマルチスケール推論を強化するLLMの最近の進歩を包括的かつ文脈的に表現する。
  論文  参考訳（メタデータ） (2025-09-06T15:56:46Z)
• A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers [251.23085679210206]
  科学大規模言語モデル(Sci-LLMs)は、科学研究において、知識の表現、統合、適用の方法を変えつつある。 この調査は、モデルとその基盤となるデータ基板の共進化として、Sci-LLMの開発を再考する。 我々は、科学的データの統一された分類法と、科学的知識の階層的なモデルを定式化する。
  論文  参考訳（メタデータ） (2025-08-28T18:30:52Z)
• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning [29.745218855471787]
  トークン化は多くの言語モジュールの現在のアーキテクチャにおいて必要なコンポーネントである。 トークン化は、合理的な人間的な言語のパフォーマンスに必要である、と我々は主張する。 本稿では,建築的選択,すなわち構成,思考のための言語の優越性について論じる。
  論文  参考訳（メタデータ） (2024-12-14T18:18:52Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Rethinking Relational Encoding in Language Model: Pre-Training for General Sequences [23.806325599416134]
  言語モデル事前トレーニングは、非自然言語ドメインにおけるシーケンス毎の関係のモデリングに失敗する。 LMPTと深い構造保存メトリック学習を組み合わせ、よりリッチな埋め込みを生成するフレームワークを開発しています。 我々のアプローチは下流タスクで顕著なパフォーマンス改善を提供します。
  論文  参考訳（メタデータ） (2021-03-18T15:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。