論文の概要: Modularity-Free Conflict-Averse Training for Generalized PINNs
- arxiv url: http://arxiv.org/abs/2606.20156v1
- Date: Thu, 18 Jun 2026 12:20:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-19 18:23:39.847027
- Title: Modularity-Free Conflict-Averse Training for Generalized PINNs
- Title(参考訳): 一般化PINNのためのモジュラリティフリーコンフリクト・アバーストレーニング
- Authors: Heejo Kong, Beomchul Park, Sung-Jin Kim, Seong-Whan Lee,
- Abstract要約: 物理インフォームドニューラルネットワーク(PINN)はPDEを解くための強力なフレームワークとなっている。
モデルキャパシティの増大に伴い, PINNの訓練効果は低下し, 脆弱なままであることを示す。
本稿では,構造最適化とコンフリクト・アバーストレーニングを統合したModSync(Modular-Sparsity Synchronization)を提案する。
- 参考スコア(独自算出の注目度): 46.12829178558227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physics-informed neural networks (PINNs) have become a powerful framework for solving PDEs by embedding physical laws into differentiable objectives. Despite their advances, training PINNs remains fragile: recent conflict-averse optimization schemes alleviate gradient interference between residual and boundary losses, but we show that their effectiveness deteriorates as model capacity increases. In this paper, we identify a capacity-induced failure mode, where overparameterized networks undergo functional modularity, self-partitioning into task-exclusive modules that suppress cross-objective interaction and hinder convergence toward Pareto-stationary points. To address this issue, we propose a novel framework, Modular-Sparsity Synchronization (ModSync), which integrates structural optimization into conflict-averse training by penalizing task-exclusive connections while preserving interaction-promoting pathways. Extensive experiments across diverse PDE benchmarks demonstrate that ModSync consistently prevents capacity-driven failures, sustains robust cross-objective coupling, and achieves state-of-the-art accuracy. Codes are available at \url{https://github.com/heejokong/ModSync}.
- Abstract(参考訳): 物理インフォームドニューラルネットワーク(PINN)は、物理法則を微分可能な目的に埋め込むことで、PDEを解決するための強力なフレームワークとなっている。
最近の矛盾回避最適化手法は, 残留損失と境界損失の間の勾配干渉を緩和するが, モデル容量の増加に伴い, その効果が低下することを示す。
本稿では,機能的モジュラリティ,タスク排他的モジュールへの自己分割,相互対象間相互作用の抑制,パレート定常点への収束を阻害するキャパシティ誘導型障害モードを同定する。
そこで本研究では,タスク排他的接続をペナルティ化し,インタラクション促進経路を保ちながら,構造最適化とコンフリクト-アバーストレーニングを統合した新しいフレームワークModSyncを提案する。
多様なPDEベンチマークにわたる大規模な実験により、ModSyncはキャパシティ駆動型障害を一貫して防止し、堅牢なクロスオブジェクト結合を維持し、最先端の精度を達成することが示されている。
コードは \url{https://github.com/heejokong/ModSync} で公開されている。
関連論文リスト
- Unlocking the Potential of Continual Model Merging: An ODE Perspective [0.42970700836450487]
CMM(Continuous Model Merging)は、反復的な再トレーニングなしにタスク適応モデルを順次組み込むことで、基礎モデルの迅速なカスタマイズを可能にする。
本稿では, 1ステップのエンドポイント更新ではなく, パラメータ空間の軌跡として各マージを定式化する,制御可能なフレームワークODE-Mを提案する。
論文 参考訳(メタデータ) (2026-05-19T06:03:20Z) - Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。
本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
論文 参考訳(メタデータ) (2026-05-08T14:07:32Z) - Forked Physics Informed Neural Networks for Coupled Systems of Differential equations [1.7158443622461192]
微分方程式(DE)の結合系のための分岐PINNフレームワークを提案する。
結合Dsにより制御される非マルコフ開量子力学のシミュレーションにおけるFPINNの有効性を実証する。
スピンボソンモデルとXXZモデルでは、FPINNは量子コヒーレンス復元や情報バックフローのようなマルコフでない特徴を正確に捉えている。
論文 参考訳(メタデータ) (2026-02-16T08:32:59Z) - SpanNorm: Reconciling Training Stability and Performance in Deep Transformers [55.100133502295996]
両パラダイムの強度を統合することでジレンマを解消する新しい手法であるSpanNormを提案する。
我々は、SpanNormと原則付きスケーリング戦略を組み合わせることで、ネットワーク全体にわたって有界信号のばらつきを維持できることを理論的に示す。
経験的に、SpanNormは、密集および混成実験(Mixture-of-Experts、MoE)のシナリオにおいて、標準正規化スキームを一貫して上回っている。
論文 参考訳(メタデータ) (2026-01-30T05:21:57Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳(メタデータ) (2025-10-09T04:48:49Z) - Modular Delta Merging with Orthogonal Constraints: A Scalable Framework for Continual and Reversible Model Composition [0.0]
既存のモデルマージと継続的学習へのアプローチは、しばしばタスクの干渉、破滅的な忘れ込み、あるいは可逆性の欠如に悩まされる。
本稿では, 拡張性, 干渉フリー, 微調整モデルの構成が可能な新しいフレームワークである Orthogonal Constraints (MDM-OC) を用いた Modular Delta Merging を提案する。
論文 参考訳(メタデータ) (2025-07-28T17:08:49Z) - Advancing Generalization in PINNs through Latent-Space Representations [71.86401914779019]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)によって支配される力学系のモデリングにおいて大きな進歩を遂げた。
本稿では,多種多様なPDE構成を効果的に一般化する物理インフォームドニューラルPDE解法PIDOを提案する。
PIDOは1次元合成方程式と2次元ナビエ・ストークス方程式を含む様々なベンチマークで検証する。
論文 参考訳(メタデータ) (2024-11-28T13:16:20Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。