論文の概要: The Mechanics of Delta Learning: Target Design for Generalizable Scientific Machine Learning

• arxiv url: http://arxiv.org/abs/2609.28782v1
• Date: Wed, 23 Sep 2026 20:57:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.551626
• Title: The Mechanics of Delta Learning: Target Design for Generalizable Scientific Machine Learning
• Title（参考訳）: デルタ学習の力学:汎用科学機械学習のためのターゲット設計
• Abstract要約: 複雑な局所基底線は、アーキテクチャインフォームドプロキシ空間内で不均等に粗い小さな残留目標が得られることを示す。 本稿では,残学習性向上のための事前学習診断法として,スケール正規化グラフのディリクレ粗さを導入する。
• 参考スコア（独自算出の注目度）: 12.94401974879237
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In scientific machine learning, $Δ$-learning trains models on residual errors relative to physical baselines, assuming that more accurate baselines with smaller residual scales inherently improve downstream performance. Here, we demonstrate that residual scale alone is an insufficient heuristic for learnability. Evaluating molecular graph neural networks on total energy targets, we show that complex local descriptor baselines can yield small residual targets that are disproportionately rough within architecture-informed proxy spaces and harder to learn relative to their scale. Conversely, semi-empirical baseline reduces both scale and normalized roughness, improving in-domain and out-of-domain prediction. We introduce scale-normalized graph Dirichlet roughness ($D_{\text{IQR}}$) as a pre-training diagnostic for residual learnability and establish baseline complementarity as a core target-design principle, elevating target space formulation alongside model architecture as a key axis for scientific machine learning.
• Abstract（参考訳）: 科学機械学習では、$$$-learningのトレーニングは、物理ベースラインに対する残留誤差をモデル化する。 ここでは、残差スケールだけでは学習容易性に不十分なヒューリスティックであることを実証する。 分子グラフニューラルネットワークを全エネルギーターゲット上で評価することにより、複雑な局所記述子ベースラインは、アーキテクチャにインフォームドされたプロキシ空間内で不均等に粗い小さな残留ターゲットとなり、そのスケールに対して学習が困難であることを示す。 逆に、半経験的ベースラインはスケールと正規化された粗さの両方を減らし、ドメイン内およびドメイン外予測を改善します。 本稿では,残差学習可能性の事前学習診断としてスケール正規化グラフDirichlet roughness(D_{\text{IQR}}$)を導入し,ベースライン補完性を主目的設計原則として確立し,モデルアーキテクチャとともにターゲット空間の定式化を科学機械学習の鍵軸とする。

関連論文リスト

• Position: Graph Condensation Needs a Reset -- Move Beyond Full-dataset Training and Model-Dependence [26.234880574328823]
  グラフの凝縮は、現在の形では、リセットが必要であると我々は主張する。 私たちは、フルデータセットのトレーニングとモデルに依存した設計を超えて移行することを呼びかけています。 我々は、凝縮の真の約束を果たすアプローチに向けて、分野を再編成することを目指している。
  論文  参考訳（メタデータ） (2026-05-17T07:08:22Z)
• The critical slowing down in diffusion models [8.207196072624464]
  パラメータ学習において,正確な解と一致する1層ネットワークアーキテクチャを用いてスコアモデルをトレーニングすると,パラメータ学習における臨界速度低下の一形態が示される。 この速度低下は生成過程にも影響し、学習された生成モデルでさえ、臨界点近くをサンプリングすることのよく知られた困難さが持続することを示している。 2層アーキテクチャを使用することで、システムサイズを2次的にではなく、対数的にスケールするトレーニング時間によって、致命的な遅延を劇的に削減できることがわかった。
  論文  参考訳（メタデータ） (2026-05-12T18:00:02Z)
• On Neural Scaling Laws for Weather Emulation through Continual Training [76.70310203875866]
  我々はScientific Machine Learningにおけるニューラルスケーリングについて研究し、天気予報モデルに焦点を当てた。 可能な限り簡単な設定でスケーリング動作を解析するために、最小限でスケーラブルで汎用的なSwin Transformerアーキテクチャを採用する。 この最小限の方法でトレーニングされたモデルは、予測可能なスケーリングトレンドに従っており、標準的なコサイン学習率のスケジュールよりも優れています。
  論文  参考訳（メタデータ） (2026-03-26T17:37:25Z)
• Learning a Generative Meta-Model of LLM Activations [75.30161960337892]
  ネットワークの内部状態の分布を学習する"メタモデル"を作成します。 ステアリング介入前に学んだメタモデルを適用することで、損失が減少するにつれて、流速が向上する。 これらの結果は、生成的メタモデルが制限的な構造的仮定を伴わずに、解釈可能性へのスケーラブルな経路を提供することを示唆している。
  論文  参考訳（メタデータ） (2026-02-06T18:59:56Z)
• AMBIT: Augmenting Mobility Baselines with Interpretable Trees [0.5414847001704249]
  本稿では,解釈可能な木モデルで物理運動量ベースラインを向上するフレームワークであるABBITを開発する。 まず、1時間に1回のNYCタクシーODデータセット上で、古典的な空間的相互作用モデルの包括的な監査から始める。 次に, 勾配ブースト木とSHAP解析を用いて物理ベースライン上に残差学習器を構築し, (i) 物理接地残差が, 解釈可能な構造を維持しながら強い木に基づく予測器の精度に近づき, (ii) POI アンカレッド残差は一貫して競争力を持ち, 空間一般化において最も頑健であることを示す。
  論文  参考訳（メタデータ） (2025-12-27T04:59:16Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。