論文の概要: When Does Jacobian Fine-Tuning Stabilize Neural PDE Emulators?

• arxiv url: http://arxiv.org/abs/2610.42013v1
• Date: Fri, 30 Oct 2026 16:49:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.816726
• Title: When Does Jacobian Fine-Tuning Stabilize Neural PDE Emulators?
• Title（参考訳）: ジャコビアン微調整はニューラルPDEエミュレータをいつ安定化させるか?
• Abstract要約: ジャコビアン系レギュラーは、この成長を抑えることを目標としているが、カオス的なシステムでは、成長の一部は物理的であり、遠ざかることはできない。 我々は、エミュレータの誤差と、解法のジャコビアンを通して同じワンステップの誤りを伝播する反事実を比較し、増幅比を与える。 ジャコビアン微調整により、増幅比が1.25以上である34種中1種、少なくとも4種以上である20種中1種に対して10%以上誤差を低減した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural emulators of chaotic PDEs are trained on one-step prediction but deployed autoregressively, where their errors compound. Jacobian-based regularisers aim to curb this growth, but in a chaotic system part of the growth is physical and cannot be trained away. We separate the two sources of this error with a first-order decomposition. We compare the emulator's error with a counterfactual that propagates the same one-step mistakes through the solver's Jacobian, giving an amplification ratio: the factor by which the model's own dynamics amplify its errors. We study 21 configurations across four PDEs, five architectures and two model sizes (8-10k and 33k parameters), with errors measured at one Lyapunov time. Jacobian fine-tuning reduced the error by more than 10% for 1 of 34 seeds whose amplification ratio was at most 1.25, and for all 20 seeds whose ratio was at least four; for the latter, the error fell by a factor of 8 (small models) and 55 (33k models) in geometric mean over seeds. The gain approximately equals the one-step accuracy cost of fine-tuning divided by the amplification ratio. Matching the solver's Jacobian along the model's own error direction (EDJM) outperformed random directions at the same cost on 28 of 35 seeds; input-noise injection performed comparably to EDJM.
• Abstract（参考訳）: カオスPDEの神経エミュレータは、一段階の予測に基づいて訓練されるが、エラーが複雑になるように自己回帰的に展開される。 ジャコビアン系レギュラーは、この成長を抑えることを目標としているが、カオス的なシステムでは、成長の一部は物理的であり、遠ざかることはできない。 我々はこの誤差の2つの源を1次分解で分離する。 我々は、エミュレータの誤差と、解法のジャコビアンによって同じ1ステップの誤りを伝播する反事実を比較し、増幅比を与える:モデル自身の力学が誤りを増幅する要因を与える。 我々は,4つのPDE,5つのアーキテクチャ,2つのモデルサイズ(8-10k,33kパラメータ)にまたがる21の構成について検討した。 ジャコビアン微調整により, 増幅比が1.25以上である34種中1種と, 少なくとも4種である20種中1種について, 誤差を10%以上低減し, 後者については, 幾何学的平均値において8種(小モデル)と55種(33kモデル)の誤差が減少した。 利得は増幅比で分割された微調整の1ステップ精度コストとほぼ等しい。 モデル自体の誤差方向(EDJM)に沿って解法ジャコビアンをマッチングすると,35種中28種に対して同じコストでランダムな方向が達成され,入力ノイズ注入はEDJMと相容れない結果となった。

関連論文リスト

• Interpretable Brain Age Prediction Using White Matter Fiber Orientation Distributions with Rotation-Equivariant Deep Learning [64.62249011941329]
  本稿では,白色物質繊維配向分布(WM-FOD)とSE(3)(特別ユークリッド群)の同変CNNを組み合わせた解釈可能な脳年齢予測フレームワークを提案する。 ヒト・コネクトーム・プロジェクト・エイジング(Human Connectome Project Aging)データセットから36～90歳の被験者692名を対象に,DTIモデルと従来のCNNよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-10-26T04:14:38Z)
• Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference [13.137699166830322]
  大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。 同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。 実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
  論文  参考訳（メタデータ） (2026-09-22T15:54:16Z)
• A Splitting Method for SDE Terminal-Law Estimation [1.6440434996206623]
  一定のシミュレーション予算が与えられた場合、効率を上げるための合理的な方法は、適切に分割された部分経路を通して経路のツリーを生成することである。 シミュレーション予算が無限に増加するにつれて,経験的分布の限界誤差を同定する。 平均誤差を10～25%改善した。
  論文  参考訳（メタデータ） (2026-09-11T07:20:11Z)
• Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
  Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。 重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。 補償は普遍的よりもトークン効率が高く低予算の勝利である。
  論文  参考訳（メタデータ） (2026-08-03T19:44:08Z)
• State-dependent error correlations shape voting thresholds in committees of AI agents [1.7545090618311434]
  Sah-Stiglitzブートストラップスクリーニングとエラー依存性を組み合わせることで、良いケースと悪いケースを区別できる。 4つのバイナリスクリーニングベンチマークで28言語モデルを用いて174,384票から異種拡張を推定した。 設計バランスの分析では、独立下でのコスト感受性の閾値選択により60.25から52.50に縮小された。
  論文  参考訳（メタデータ） (2026-07-27T02:06:22Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
  本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。 大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
  論文  参考訳（メタデータ） (2025-11-16T20:14:28Z)
• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。