論文の概要: Dynamic System Inspired Continuous Large Language Model for AI4Science Tasks
- arxiv url: http://arxiv.org/abs/2610.26959v1
- Date: Sun, 18 Oct 2026 12:00:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.408631
- Title: Dynamic System Inspired Continuous Large Language Model for AI4Science Tasks
- Title（参考訳）: AI4Scienceタスクのための動的システムインスパイアされた連続大言語モデル
- Abstract要約: 本研究では,連続深度言語モデルにおける動的演算子として,事前学習した残差変換を再利用するContinuum-LMを提案する。
その隠れ状態は、高次数値積分によって評価される通常の微分方程式を通じて進化し、ソルバ次数とステップサイズを制御する。
8つの科学的課題の中で、連続体-LMの列車は安定して平均精度を7.77と10.96ポイント向上する。
- 参考スコア（独自算出の注目度）: 47.004008607862886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scientific foundation models increasingly operate on continuous phenomena, yet still use discrete residual computation. We ask whether pretrained residual transformations can support additional latent computation without expanding the backbone. To test this possibility, we introduce Continuum-LM, which reuses these transformations as dynamical operators in a continuous-depth language model. Its hidden states evolve through an ordinary differential equation evaluated by higher-order numerical integration, with solver order and step size controlling computation. Across eight scientific tasks, Continuum-LM trains stably and improves mean exact-match accuracy by 7.77 and 10.96 percentage points over discrete counterparts at the 0.6B and 1.7B scales, respectively. At 0.6B, it also outperforms an Ouro-style recurrent control under matched parameter and residual-function evaluation budgets. Together, these results support extensible computational depth through parameter reuse, identifying continuous hidden-state evolution as a practical design dimension for scientific language models beyond parameter scaling.
- Abstract（参考訳）: 科学基礎モデルは、連続的な現象に対してますます作用するが、それでも離散的な残差計算を用いる。
トレーニング済み残差変換は、バックボーンを拡張することなく、追加の潜時演算をサポートすることができるかどうかを問う。
この可能性をテストするために,連続深度言語モデルにおいて,これらの変換を動的演算子として再利用するContinuum-LMを導入する。
その隠れ状態は、高次数値積分によって評価される通常の微分方程式を通じて進化し、ソルバ次数とステップサイズ制御の計算を行う。
8つの科学的課題の中で、Continuum-LM の列車は、それぞれ 0.6B と 1.7B の個別の列車よりも平均精度を 7.77 と 10.96 の精度で安定的に改善している。
0.6Bでは、一致したパラメータと残留関数評価予算の下で、Ouroスタイルのリカレント制御を上回ります。
これらの結果は、パラメータの再利用による拡張可能な計算深度をサポートし、パラメータスケーリングを超えた科学的言語モデルの実用的な設計次元として、連続的な隠れ状態の進化を識別する。
関連論文リスト
- Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning [15.355823330309724]
スケーラブル遅延推論はフィードフォワードモデルの精度を2.6%から、Sudoku-Extremeの99%以上に向上することを示す。
4万以上の層に展開することで、スケーラブルな遅延推論により、フィードフォワードモデルの2.6%から、Sudoku-Extremeの99%以上まで精度が向上する。
論文 参考訳（メタデータ） (2026-05-20T17:59:48Z) - When Bayesian Tensor Completion Meets Multioutput Gaussian Processes: Functional Universality and Rank Learning [53.17227599983122]
関数テンソル分解は実数値インデックスを用いて多次元データを解析することができる。
そこで本研究では,Right-Revealing Functional Low-rank tensor completion (RR-F)法を提案する。
連続多次元信号に対するモデルの普遍近似特性を確立する。
論文 参考訳（メタデータ） (2025-12-25T03:15:52Z) - Sparse-to-Field Reconstruction via Stochastic Neural Dynamic Mode Decomposition [12.812771670043212]
風力場や海流のような現実世界のシステムの多くは、動的でモデル化が難しい。
動的モード分解(DMD)は、単純でデータ駆動の近似を提供するが、実用性はスパース/ノイズの観測によって制限される。
DMDの確率的拡張であるNODE-DMDを導入する。
論文 参考訳（メタデータ） (2025-11-25T18:39:50Z) - Implicit Neural Differential Model for Spatiotemporal Dynamics [5.1854032131971195]
In-PiNDiffは、安定時間力学のための新しい暗黙の物理積分型ニューラル微分可能解法である。
深い平衡モデルにインスパイアされたIm-PiNDiffは、暗黙の固定点層を用いて状態を前進させ、堅牢な長期シミュレーションを可能にする。
Im-PiNDiffは優れた予測性能、数値安定性の向上、メモリとコストの大幅な削減を実現している。
論文 参考訳（メタデータ） (2025-04-03T04:07:18Z) - Amortized Control of Continuous State Space Feynman-Kac Model for Irregular Time Series [14.400596021890863]
医療、気候、経済などの現実世界のデータセットは、しばしば不規則な時系列として収集される。
本稿では,連続状態空間モデル (ACSSM) を時系列の連続的動的モデリングに用いるためのアモータイズ制御を提案する。
論文 参考訳（メタデータ） (2024-10-08T01:27:46Z) - A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。
後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。
実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
論文 参考訳（メタデータ） (2024-02-26T04:39:01Z) - Differentiable DG with Neural Operator Source Term Correction [0.0]
圧縮可能なNavier-Stokes方程式を解くためのエンドツーエンドの微分可能なフレームワークを提案する。
この統合アプローチは、微分可能不連続なガレルキン解法とニューラルネットワークのソース項を組み合わせる。
提案するフレームワークの性能を2つの例で示す。
論文 参考訳（メタデータ） (2023-10-29T04:26:23Z) - Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。
本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。
より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
論文 参考訳（メタデータ） (2021-05-25T19:48:35Z) - Value Iteration in Continuous Actions, States and Time [99.00362538261972]
連続状態と動作に対する連続的適合値反復(cFVI)アルゴリズムを提案する。
非線形制御アフィンダイナミクスに対して最適なポリシを導出することができる。
物理システムのビデオは、urlhttps://sites.google.com/view/value-iteration.comで入手できる。
論文 参考訳（メタデータ） (2021-05-10T21:40:56Z) - Continuous-in-Depth Neural Networks [107.47887213490134]
まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。
次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。
ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
論文 参考訳（メタデータ） (2020-08-05T22:54:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。