論文の概要: Why Cannot Neural Networks Master Extrapolation? Insights from Physical Laws

• arxiv url: http://arxiv.org/abs/2510.04102v1
• Date: Sun, 05 Oct 2025 09:07:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.459221
• Title: Why Cannot Neural Networks Master Extrapolation? Insights from Physical Laws
• Title（参考訳）: なぜニューラルネットワークマスター外挿ができないのか : 物理法則からの考察
• Authors: Ramzi Dakhmouche, Hossein Gorji,
• Abstract要約: 言語モデリングにおけるファンデーションモデル(FM)の顕著な成功により、時系列予測のためのFMの開発への関心が高まっている。 この研究は、統計的学習モデルがトレーニング領域の外でより正確に予測できる能力を特徴付ける基本的な特性を特定し、定式化する。 理論的解析に加えて,この特性が現在のディープラーニングアーキテクチャに与える影響を実証的に示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivated by the remarkable success of Foundation Models (FMs) in language modeling, there has been growing interest in developing FMs for time series prediction, given the transformative power such models hold for science and engineering. This culminated in significant success of FMs in short-range forecasting settings. However, extrapolation or long-range forecasting remains elusive for FMs, which struggle to outperform even simple baselines. This contrasts with physical laws which have strong extrapolation properties, and raises the question of the fundamental difference between the structure of neural networks and physical laws. In this work, we identify and formalize a fundamental property characterizing the ability of statistical learning models to predict more accurately outside of their training domain, hence explaining performance deterioration for deep learning models in extrapolation settings. In addition to a theoretical analysis, we present empirical results showcasing the implications of this property on current deep learning architectures. Our results not only clarify the root causes of the extrapolation gap but also suggest directions for designing next-generation forecasting models capable of mastering extrapolation.
• Abstract（参考訳）: 言語モデリングにおけるファンデーションモデル(FM)の顕著な成功により、そのようなモデルが科学や工学に持つ変革的な力を考えると、時系列予測のためのFMの開発への関心が高まっている。 これは短距離予測設定におけるFMの大幅な成功に終わった。 しかし、外挿や長距離予測は、単純なベースラインを上回るのに苦戦しているFMにとって、依然として明白である。 これは、強い外挿特性を持つ物理法則とは対照的であり、ニューラルネットワークの構造と物理法則の根本的な違いの問題を提起する。 本研究では,統計的学習モデルが学習領域外においてより正確に予測できることを特徴付ける基本特性を特定し,定式化することにより,外挿条件下での深層学習モデルの性能劣化を説明できる。 理論的解析に加えて,この特性が現在のディープラーニングアーキテクチャに与える影響を実証的に示す。 その結果,外挿ギャップの根本原因を明らかにするだけでなく,外挿を習得できる次世代予測モデルを設計するための方向性も示唆した。

関連論文リスト

• Variational Graph Convolutional Neural Networks [72.67088029389764]
  不確実性は、グラフ畳み込みネットワークの説明可能性を改善するのに役立つ。 不確実性は、モデルの結果を検証するために重要なアプリケーションでも使用することができる。
  論文  参考訳（メタデータ） (2025-07-02T13:28:37Z)
• Understanding Overadaptation in Supervised Fine-Tuning: The Role of Ensemble Methods [11.695512384798299]
  監視された微調整は、基礎モデルを専門的なタスクに適応するための支配的なアプローチである。 視覚モデルでは、事前訓練されたモデルと微調整されたモデルを組み合わせることでこの問題を軽減することが示されている。 アンサンブルモデルは基礎モデルからの一般的な知識を保持するだけでなく、微調整されたドメイン自体においても、微調整されたモデルよりも優れる。
  論文  参考訳（メタデータ） (2025-06-02T17:23:16Z)
• Investigating Compositional Reasoning in Time Series Foundation Models [16.0792886386044]
  予測における構成的推論を定義し,それを分布内一般化と区別する。 私たちはパッチベースのトランスフォーマーが最高の理由付け性能を持っていることに気付きました。 いくつかのゼロショットのアウト・オブ・ディストリビューションのシナリオでは、これらのモデルは、イン・ディストリビューションデータに基づいてトレーニングされた移動平均と指数的スムーズな統計ベースラインより優れている。
  論文  参考訳（メタデータ） (2025-02-09T21:21:55Z)
• AirPhyNet: Harnessing Physics-Guided Neural Networks for Air Quality Prediction [40.58819011476455]
  本稿では,空気質予測のための物理誘導ニューラルネットワーク(AirPhyNet)という新しいアプローチを提案する。 我々は、空気粒子移動(拡散と対流)の2つの確立された物理原理を微分方程式ネットワークとして表現することで活用する。 2つの実世界のベンチマークデータセットの実験では、AirPhyNetがさまざまなテストシナリオの最先端モデルを上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-02-06T07:55:54Z)
• On some limitations of data-driven weather forecasting models [0.0]
  本稿では,現在のMLモデルの先駆者であるPangu-Weather氏の予測のいくつかの側面について検討する。 主な結論は、Pangu-Weather予測と、おそらく同様のMLモデルの予測は、物理ベースのモデルの忠実性と物理的整合性を持っていないということである。
  論文  参考訳（メタデータ） (2023-09-15T15:21:57Z)
• Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions [59.284907093349425]
  大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
  論文  参考訳（メタデータ） (2022-07-28T17:36:24Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
  近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。 最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。 本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-16T14:17:37Z)
• Hessian-based toolbox for reliable and interpretable machine learning in physics [58.720142291102135]
  本稿では,モデルアーキテクチャの解釈可能性と信頼性,外挿を行うためのツールボックスを提案する。 与えられたテストポイントでの予測に対する入力データの影響、モデル予測の不確実性の推定、およびモデル予測の不可知スコアを提供する。 我々の研究は、物理学やより一般的には科学に適用されたMLにおける解釈可能性と信頼性の方法の体系的利用への道を開く。
  論文  参考訳（メタデータ） (2021-08-04T16:32:59Z)
• Graph Neural Networks for Improved El Ni\~no Forecasting [0.009620910657090186]
  我々は,エルニーニョ南部振動(ENSO)を長時間予測するためのグラフニューラルネットワーク(GNN)の応用を提案する。 予備的な結果は1ヶ月と3ヶ月前に予測される最先端システムよりも有望で優れています。
  論文  参考訳（メタデータ） (2020-12-02T23:40:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。