論文の概要: BigBang-Proton Technical Report: Next-Word-Prediction is Scientific Multitask Learner

• arxiv url: http://arxiv.org/abs/2510.00129v1
• Date: Tue, 30 Sep 2025 18:09:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.185114
• Title: BigBang-Proton Technical Report: Next-Word-Prediction is Scientific Multitask Learner
• Title（参考訳）: BigBang-Proton Technical Report: Next-Word-Prediction is Scientific Multitask Learner
• Abstract要約: BigBang-Protonは自動回帰言語モデリングのための統合シーケンスベースのアーキテクチャである。 BigBang-Protonは、クロススケール、クロス構造、クロスディシデントな現実世界の科学的なタスクを予習した。
• 参考スコア（独自算出の注目度）: 8.599603915677365
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce BigBang-Proton, a unified sequence-based architecture for auto-regressive language modeling pretrained on cross-scale, cross-structure, cross-discipline real-world scientific tasks to construct a scientific multi-task learner. BigBang-Proton incorporates three fundamental innovations compared to mainstream general-purpose LLMs: Theory-Experiment Learning paradigm aligns large-scale numerical experimental data with theoretical text corpora; Binary Patch Encoding replaces byte pair encoding(BPE) tokenization; Monte Carlo Attention substitutes traditional transformer architectures. Through next-word-prediction pretraining on cross-discipline scientific datasets of real-world problems mixed with general textual corpus, followed by fine-tuning and inference on downstream tasks, BigBang-Proton demonstrates 100\% accuracy in up to 50-digit arithmetic addition operations, performance on par with leading specialized models in particle physics jet tagging, matching MAE of specialized models in inter-atomic potential simulation, performance comparable to traditional spatiotemporal models in water quality prediction, and benchmark-exceeding performance in genome modeling. These results prove that language-guided scientific computing can match or exceed the performance of task-specific scientific models while maintaining multitask learning capabilities. We further hypothesize to scale the pretraining to the universe scale as a fundamental step toward developing material world foundational model.
• Abstract（参考訳）: 我々は,多タスク学習者を構築するために,クロススケール,クロスストラクチャ,クロスディシプリンドな実世界の科学的タスクを事前訓練した,自己回帰型言語モデリングのための統合シーケンスベースアーキテクチャであるBigBang-Protonを紹介した。 理論実験学習パラダイムは、理論テキストコーパスと大規模数値実験データを整列させ、バイナリパッチエンコーディングはバイトペア符号化(BPE)トークン化を置き換え、モンテカルロ・アテンションは従来のトランスフォーマーアーキテクチャを代替する。 一般的なテキストコーパスと混ざった実世界の問題に関するクロスディシデント科学データセットをトレーニングし、その後、ダウンストリームタスクの微調整と推論を行い、BigBang-Protonは最大50桁の算術加算演算において100倍の精度を示し、粒子物理学ジェットタグ付けにおける主要な特殊モデルと同等の性能を示し、原子間ポテンシャルシミュレーションにおける特殊モデルのMAE、水質予測における従来の時空間モデルに匹敵する性能、ゲノムモデリングにおけるベンチマークによる性能を示す。 これらの結果は,言語指導型科学計算がマルチタスク学習能力を維持しつつ,タスク固有の科学モデルの性能に適合または超えることを示す。 我々はさらに、物質世界基盤モデルの発展に向けた基本的なステップとして、宇宙スケールへの事前学習をスケールする仮説を立てている。

関連論文リスト

• Speaking the Language of Science: Toward a General-Purpose Generative Foundation Model for the Natural Sciences [89.71422932447423]
  LOGOSは、自然科学における異種タスクを統一する科学生成言語モデルである。 空間的接触パターンと制約パターンを離散トークンとして表現することにより、モデルは純粋にシーケンシャルな方法で複雑な構造的相互作用をキャプチャする。 多様なタスクにわたって、LOGOSは一貫してドメイン固有のベースラインにマッチまたは性能を向上する。
  論文  参考訳（メタデータ） (2026-06-15T16:14:53Z)
• Physics-Distilled Neural Network enabled by Large Language Models for Manufacturing Process-Property Predictive Modeling [8.459710888681117]
  製造におけるプロセス-プロパティ関係の予測は、高い実験コストと複雑な「ブラックボックス」モデルの限定的な解釈可能性によってしばしば挑戦される。 本稿では,データスカースシナリオにおける高精度な予測を実現するための新しい知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-10T03:05:42Z)
• MatMind: A Structure-Activity Knowledge-Driven Generative Foundation Model for Materials Science [25.041404632689545]
  MatMindはこのパラダイムの下で結晶材料科学のために作られた生成基礎モデルである。 プログレッシブトレーニングフレームワーク内で、構造活性知識の協調的活性化と物理インフォームドフィードバックによって開発される。
  論文  参考訳（メタデータ） (2026-06-05T14:11:43Z)
• Beyond Language Modeling: An Exploration of Multimodal Pretraining [125.34714978184638]
  我々は、制御されたオフスクラッチ事前学習実験を通して経験的明瞭度を提供する。 我々はトランスフュージョン・フレームワークを採用し、言語と視覚の拡散を次々に予測する。 我々は、MoEアーキテクチャが、言語によって要求される高いモデル容量を提供することにより、このスケーリング非対称性を調和させることを実証する。
  論文  参考訳（メタデータ） (2026-03-03T18:58:00Z)
• ERNIE 5.0 Technical Report [244.36480708815316]
  ERNIE 5.0は、テキスト、画像、ビデオ、オーディオをまたいだ統合されたマルチモーダル理解と生成のための統合された自己回帰基盤モデルである。 ERNIE 5.0は、多様なリソース制約下での大規模デプロイメントの実践的な課題に対処するため、新しい弾力性トレーニングパラダイムを採用している。 ERNIE 5.0は、複数のモードで強い、バランスの取れた性能を実現する。
  論文  参考訳（メタデータ） (2026-02-04T16:18:15Z)
• Innovator-VL: A Multimodal Large Language Model for Scientific Discovery [84.15264653078826]
  Innovator-VLは、様々な科学的分野の理解と推論を促進するために設計された、科学的多モーダルな大規模言語モデルである。 原理的なトレーニング設計と透過的な方法論により,データ要求を大幅に削減した強力な科学的知性が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-27T08:12:18Z)
• Forecasting N-Body Dynamics: A Comparative Study of Neural Ordinary Differential Equations and Universal Differential Equations [4.285464959472458]
  天体物理学の基礎となるn体問題は、自身の重力相互作用の効果の下で作用するn体の運動をシミュレートする。 トラジェクトリの予測と予測に使用される伝統的な機械学習モデルは、しばしばデータ集約的なブラックボックスモデルである。 一方、Scientific Machine Learningは、既知の物理法則を直接機械学習フレームワークに組み込む。
  論文  参考訳（メタデータ） (2025-12-12T11:20:27Z)
• A Mixture of Experts Gating Network for Enhanced Surrogate Modeling in External Aerodynamics [0.28647133890966997]
  Mixture of Experts (MoE) モデルは、3つの異種、最先端の代理モデルの予測を組み合わせる。 システム全体のトレーニングと検証は、自動車空気力学のための高忠実度CFDシミュレーションの大規模でパブリックなベンチマークであるDrivAerMLデータセットで行われている。
  論文  参考訳（メタデータ） (2025-08-28T22:34:10Z)
• Foundation Model for Skeleton-Based Human Action Understanding [56.89025287217221]
  本稿では,統一骨格に基づくDense Representation Learningフレームワークを提案する。 USDRLはトランスフォーマーベースのDense Spatio-Temporal (DSTE)、Multi-Grained Feature Deorrelation (MG-FD)、Multi-Perspective Consistency Training (MPCT)で構成されている。
  論文  参考訳（メタデータ） (2025-08-18T02:42:16Z)
• HAD: Hybrid Architecture Distillation Outperforms Teacher in Genomic Sequence Modeling [52.58723853697152]
  DNA配列モデリングのためのハイブリッドアーキテクチャ蒸留(HAD)手法を提案する。 我々はNTv2-500Mを教師モデルとして採用し,グループマスキング戦略を考案した。 類似したパラメータを持つモデルと比較して,本モデルは優れた性能を示した。
  論文  参考訳（メタデータ） (2025-05-27T07:57:35Z)
• Large EEG-U-Transformer for Time-Step Level Detection Without Pre-Training [1.3254304182988286]
  局所的特徴と大域的特徴の両方を捉えることで表現を効率的に学習する単純なU字モデルを提案する。 他のウィンドウレベルの分類モデルと比較して,本手法は時間段階の予測を直接出力する。 我々のモデルは、てんかんおよび他の神経疾患における人工知能に関する国際会議において、2025年の第1回「青信号検出チャレンジ」で優勝した。
  論文  参考訳（メタデータ） (2025-04-01T01:33:42Z)
• UniGenX: a unified generative foundation model that couples sequence, structure and function to accelerate scientific design across proteins, molecules and materials [62.72989417755985]
  自然系における関数の統一生成モデルUniGenXを提案する。 UniGenXはシンボルトークンと数値トークンの混合ストリームとして異種入力を表す。 ドメイン間のファンクション・アウェア・ジェネレーションに対して、最先端または競合的なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-03-09T16:43:07Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。 2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。 タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• A Large-Scale Evaluation of Speech Foundation Models [110.95827399522204]
  音声処理ユニバーサルパフォーマンスベンチマーク(SUPERB)を構築し,基礎モデルパラダイムの有効性について検討する。 凍結基盤モデルを用いてSUPERBにおける音声処理タスクに対処する統合マルチタスクフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-15T00:03:16Z)
• OmniArch: Building Foundation Model For Scientific Computing [35.41293100957156]
  OmniArchは,物理アライメントによるマルチスケール・マルチ物理科学計算問題の解決を目的とした,最初のプロトタイプである。 PDEBench上で1D-2D-3Dの統合事前トレーニングを行い、1D, 2D, 3D PDEの新たなパフォーマンスベンチマークを設定するだけでなく、コンテキスト内およびゼロショット学習アプローチによる新しい物理への例外的な適応性を示す。
  論文  参考訳（メタデータ） (2024-02-25T07:19:01Z)
• Multiple Physics Pretraining for Physical Surrogate Models [41.26924657687872]
  物理モデリングのための自己認識型タスク・時間事前学習手法であるMultiple Physics Pretraining (MPP)を導入する。 MPPでは、特定の物理システム上で1つのモデルをトレーニングするのではなく、バックボーンモデルをトレーニングし、複数の異種物理システムのダイナミクスを予測する。 1つのMPP事前学習変換器は、事前学習タスクと下流タスクの両方において、タスク固有のベースラインを一致または向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-10-04T17:29:19Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。