論文の概要: BigBang-Proton Technical Report: Next-Word-Prediction is Scientific Multitask Learner
- arxiv url: http://arxiv.org/abs/2510.00129v1
- Date: Tue, 30 Sep 2025 18:09:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:20.185114
- Title: BigBang-Proton Technical Report: Next-Word-Prediction is Scientific Multitask Learner
- Title（参考訳）: BigBang-Proton Technical Report: Next-Word-Prediction is Scientific Multitask Learner
- Authors: Hengkui Wu, Liujiang Liu, Jihua He, Qihao Wang, Keke Zhao, Shuyang Hu, Renle Fu, Dahao Liang, Lingyu Zeng, Bruce Liu, Yuan Liu, Jin Zhan, Jiaqiang Niu, Xinglong Jia, Yaqin Hu, Wenjun Ji, Panpan Chi, Ken Chen, Hengyuan Wu, Yingsi Xin, Yongfeng Zhu, Yuexin Wang, Manqi Ruan, Ningtao Bian, Xiaohua Wu, Weipeng Xu,
- Abstract要約: BigBang-Protonは自動回帰言語モデリングのための統合シーケンスベースのアーキテクチャである。
BigBang-Protonは、クロススケール、クロス構造、クロスディシデントな現実世界の科学的なタスクを予習した。
- 参考スコア（独自算出の注目度）: 8.599603915677365
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce BigBang-Proton, a unified sequence-based architecture for auto-regressive language modeling pretrained on cross-scale, cross-structure, cross-discipline real-world scientific tasks to construct a scientific multi-task learner. BigBang-Proton incorporates three fundamental innovations compared to mainstream general-purpose LLMs: Theory-Experiment Learning paradigm aligns large-scale numerical experimental data with theoretical text corpora; Binary Patch Encoding replaces byte pair encoding(BPE) tokenization; Monte Carlo Attention substitutes traditional transformer architectures. Through next-word-prediction pretraining on cross-discipline scientific datasets of real-world problems mixed with general textual corpus, followed by fine-tuning and inference on downstream tasks, BigBang-Proton demonstrates 100\% accuracy in up to 50-digit arithmetic addition operations, performance on par with leading specialized models in particle physics jet tagging, matching MAE of specialized models in inter-atomic potential simulation, performance comparable to traditional spatiotemporal models in water quality prediction, and benchmark-exceeding performance in genome modeling. These results prove that language-guided scientific computing can match or exceed the performance of task-specific scientific models while maintaining multitask learning capabilities. We further hypothesize to scale the pretraining to the universe scale as a fundamental step toward developing material world foundational model.
- Abstract（参考訳）: 我々は,多タスク学習者を構築するために,クロススケール,クロスストラクチャ,クロスディシプリンドな実世界の科学的タスクを事前訓練した,自己回帰型言語モデリングのための統合シーケンスベースアーキテクチャであるBigBang-Protonを紹介した。
理論実験学習パラダイムは、理論テキストコーパスと大規模数値実験データを整列させ、バイナリパッチエンコーディングはバイトペア符号化(BPE)トークン化を置き換え、モンテカルロ・アテンションは従来のトランスフォーマーアーキテクチャを代替する。
一般的なテキストコーパスと混ざった実世界の問題に関するクロスディシデント科学データセットをトレーニングし、その後、ダウンストリームタスクの微調整と推論を行い、BigBang-Protonは最大50桁の算術加算演算において100倍の精度を示し、粒子物理学ジェットタグ付けにおける主要な特殊モデルと同等の性能を示し、原子間ポテンシャルシミュレーションにおける特殊モデルのMAE、水質予測における従来の時空間モデルに匹敵する性能、ゲノムモデリングにおけるベンチマークによる性能を示す。
これらの結果は,言語指導型科学計算がマルチタスク学習能力を維持しつつ,タスク固有の科学モデルの性能に適合または超えることを示す。
我々はさらに、物質世界基盤モデルの発展に向けた基本的なステップとして、宇宙スケールへの事前学習をスケールする仮説を立てている。
関連論文リスト
- A Mixture of Experts Gating Network for Enhanced Surrogate Modeling in External Aerodynamics [0.28647133890966997]
Mixture of Experts (MoE) モデルは、3つの異種、最先端の代理モデルの予測を組み合わせる。
システム全体のトレーニングと検証は、自動車空気力学のための高忠実度CFDシミュレーションの大規模でパブリックなベンチマークであるDrivAerMLデータセットで行われている。
論文 参考訳（メタデータ） (2025-08-28T22:34:10Z) - Foundation Model for Skeleton-Based Human Action Understanding [56.89025287217221]
本稿では,統一骨格に基づくDense Representation Learningフレームワークを提案する。
USDRLはトランスフォーマーベースのDense Spatio-Temporal (DSTE)、Multi-Grained Feature Deorrelation (MG-FD)、Multi-Perspective Consistency Training (MPCT)で構成されている。
論文 参考訳（メタデータ） (2025-08-18T02:42:16Z) - HAD: Hybrid Architecture Distillation Outperforms Teacher in Genomic Sequence Modeling [52.58723853697152]
DNA配列モデリングのためのハイブリッドアーキテクチャ蒸留(HAD)手法を提案する。
我々はNTv2-500Mを教師モデルとして採用し,グループマスキング戦略を考案した。
類似したパラメータを持つモデルと比較して,本モデルは優れた性能を示した。
論文 参考訳（メタデータ） (2025-05-27T07:57:35Z) - UniGenX: a unified generative foundation model that couples sequence, structure and function to accelerate scientific design across proteins, molecules and materials [62.72989417755985]
自然系における関数の統一生成モデルUniGenXを提案する。
UniGenXはシンボルトークンと数値トークンの混合ストリームとして異種入力を表す。
ドメイン間のファンクション・アウェア・ジェネレーションに対して、最先端または競合的なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-03-09T16:43:07Z) - MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。
2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。
タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
論文 参考訳（メタデータ） (2024-07-06T00:40:53Z) - A Large-Scale Evaluation of Speech Foundation Models [110.95827399522204]
音声処理ユニバーサルパフォーマンスベンチマーク(SUPERB)を構築し,基礎モデルパラダイムの有効性について検討する。
凍結基盤モデルを用いてSUPERBにおける音声処理タスクに対処する統合マルチタスクフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-15T00:03:16Z) - OmniArch: Building Foundation Model For Scientific Computing [35.41293100957156]
OmniArchは,物理アライメントによるマルチスケール・マルチ物理科学計算問題の解決を目的とした,最初のプロトタイプである。
PDEBench上で1D-2D-3Dの統合事前トレーニングを行い、1D, 2D, 3D PDEの新たなパフォーマンスベンチマークを設定するだけでなく、コンテキスト内およびゼロショット学習アプローチによる新しい物理への例外的な適応性を示す。
論文 参考訳（メタデータ） (2024-02-25T07:19:01Z) - Multiple Physics Pretraining for Physical Surrogate Models [41.26924657687872]
物理モデリングのための自己認識型タスク・時間事前学習手法であるMultiple Physics Pretraining (MPP)を導入する。
MPPでは、特定の物理システム上で1つのモデルをトレーニングするのではなく、バックボーンモデルをトレーニングし、複数の異種物理システムのダイナミクスを予測する。
1つのMPP事前学習変換器は、事前学習タスクと下流タスクの両方において、タスク固有のベースラインを一致または向上させることができることを示す。
論文 参考訳（メタデータ） (2023-10-04T17:29:19Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳（メタデータ） (2023-09-20T10:31:17Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳（メタデータ） (2022-12-09T03:58:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。