論文の概要: Axial Neural Networks for Dimension-Free Foundation Models

• arxiv url: http://arxiv.org/abs/2510.13665v1
• Date: Wed, 15 Oct 2025 15:25:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.734257
• Title: Axial Neural Networks for Dimension-Free Foundation Models
• Title（参考訳）: 次元自由基礎モデルのための軸型ニューラルネットワーク
• Authors: Hyunsu Kim, Jonggeon Park, Joan Bruna, Hongseok Yang, Juho Lee,
• Abstract要約: 物理データに基づく基礎モデルのトレーニングは、異なるシステム間で異なる次元を持つため、ユニークな課題となる。 従来のアプローチでは、最大次元を固定するか、異なる次元に対して別のエンコーダを使用するかのいずれかであり、結果として非効率である。 本稿では,Deep SetsやGraph Neural Networksなどのパラメータ共有構造に着想を得た,次元に依存しないニューラルネットワークアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 48.074109255029896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advent of foundation models in AI has significantly advanced general-purpose learning, enabling remarkable capabilities in zero-shot inference and in-context learning. However, training such models on physics data, including solutions to partial differential equations (PDEs), poses a unique challenge due to varying dimensionalities across different systems. Traditional approaches either fix a maximum dimension or employ separate encoders for different dimensionalities, resulting in inefficiencies. To address this, we propose a dimension-agnostic neural network architecture, the Axial Neural Network (XNN), inspired by parameter-sharing structures such as Deep Sets and Graph Neural Networks. XNN generalizes across varying tensor dimensions while maintaining computational efficiency. We convert existing PDE foundation models into axial neural networks and evaluate their performance across three training scenarios: training from scratch, pretraining on multiple PDEs, and fine-tuning on a single PDE. Our experiments show that XNNs perform competitively with original models and exhibit superior generalization to unseen dimensions, highlighting the importance of multidimensional pretraining for foundation models.
• Abstract（参考訳）: AIにおける基礎モデルの出現は、非常に高度な汎用学習をもたらし、ゼロショット推論とインコンテキスト学習において顕著な能力を実現している。 しかし、偏微分方程式(PDE)の解を含む物理データ上でそのようなモデルを訓練することは、異なる系にまたがる様々な次元のため、ユニークな挑戦となる。 従来のアプローチでは、最大次元を固定するか、異なる次元に対して別のエンコーダを使用するかのいずれかであり、結果として非効率である。 そこで我々は,Deep SetsやGraph Neural Networksなどのパラメータ共有構造に着想を得た,次元に依存しないニューラルネットワークアーキテクチャであるAxial Neural Network (XNN)を提案する。 XNNは計算効率を保ちながら様々なテンソル次元を一般化する。 既存のPDEファンデーションモデルを軸型ニューラルネットワークに変換し、スクラッチからのトレーニング、複数のPDEでの事前トレーニング、単一PDEでの微調整という3つのトレーニングシナリオでパフォーマンスを評価する。 実験の結果,XNNはオリジナルモデルと競合し,未知次元への優れた一般化を示し,基礎モデルに対する多次元事前学習の重要性を強調した。

関連論文リスト

• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Random Matrix Theory for Deep Learning: Beyond Eigenvalues of Linear Models [51.85815025140659]
  現代の機械学習(ML)とディープニューラルネットワーク(DNN)は高次元のデータを扱うことが多い。 特に、データ次元、サンプルサイズ、モデルパラメータの数がすべて大きな比例規則は、新しく、時には直感に反する振る舞いを引き起こす。 本稿では、線形モデルの固有値に基づく解析を超えて従来のランダム行列理論(RMT)を拡張し、非線形MLモデルによる課題に対処する。
  論文  参考訳（メタデータ） (2025-06-16T06:54:08Z)
• Towards a Foundation Model for Physics-Informed Neural Networks: Multi-PDE Learning with Active Sampling [0.0]
  物理インフォームドニューラルネットワーク(PINN)は、物理法則をニューラルネットワークトレーニングに埋め込むことで偏微分方程式(PDE)を解くための強力なフレームワークとして登場した。 本研究では,統一アーキテクチャ内で複数のPDEを解決可能な基礎PINNモデルの可能性について検討する。
  論文  参考訳（メタデータ） (2025-02-11T10:12:28Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• Connections between Numerical Algorithms for PDEs and Neural Networks [8.660429288575369]
  偏微分方程式(PDE)とニューラルネットワークの数値アルゴリズム間の多数の構造的関係について検討する。 私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
  論文  参考訳（メタデータ） (2021-07-30T16:42:45Z)
• SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
  Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。 従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
  論文  参考訳（メタデータ） (2021-02-25T17:45:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。