論文の概要: Learning to Think in Physics: Breaking Shortcut Learning in Scientific Diffusion via Representation Alignment
- arxiv url: http://arxiv.org/abs/2605.20780v1
- Date: Wed, 20 May 2026 06:22:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.522297
- Title: Learning to Think in Physics: Breaking Shortcut Learning in Scientific Diffusion via Representation Alignment
- Title（参考訳）: 物理における思考の学習:表現アライメントによる科学的拡散におけるショートカット学習を破る
- Authors: Haozhe Jia, Pengyu Yin, Wenshuo Chen, Shaofeng Liang, Lei Wang, Bowen Tian, Xiucheng Wang, Nanqian Jia, Yutao Yue,
- Abstract要約: 教師なしアーキテクチャに依存しないフレームワークである**REPA-P*は、第一原理残差を用いて中間機能を物理状態と整合させる。
4つのPDEタスク全体で、REPA-Pは最大2倍の収束を加速し、物理残余を最大6.4%の値に減らし、配布外ロバスト性を最大49.3%の値に改善する。
- 参考スコア（独自算出の注目度）: 12.534152672503772
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physics-informed diffusion models typically enforce PDE constraints only on final outputs, leaving intermediate representations unconstrained and prone to shortcut learning under shifted boundary conditions. We introduce **REPA-P**, a teacher-free, architecture-agnostic framework that aligns intermediate features with physical states using first-principles residuals. REPA-P attaches lightweight $1{\times}1$ projection heads to selected layers, decodes hidden activations into physical quantities, and applies PDE residual losses during training. These heads are discarded at inference, introducing **zero overhead**. Across four PDE tasks, including Darcy flow, topology optimization, electrostatic potential, and turbulent channel flow, REPA-P accelerates convergence by up to $2{\times}$, reduces physics residuals by up to $66.4\%$, and improves out-of-distribution robustness by up to $49.3\%$, with consistent gains on both U-Net and Diffusion Transformer backbones. Ablations show that supervising a small set of intermediate layers captures most benefits and complements output-level physics losses. Code is available at [https://github.com/Hxxxz0/REPA-P](https://github.com/Hxxxz0/REPA-P).
- Abstract（参考訳）: 物理インフォームド拡散モデルは通常、最終出力のみにPDE制約を課し、中間表現は制約されず、シフト境界条件下での学習をショートカットする傾向がある。
教師なしアーキテクチャに依存しないフレームワークである**REPA-P*は、第一原理残差を用いて中間機能を物理状態と整合させる。
REPA-Pは、選択した層に軽量な$1{\times}1$プロジェクションヘッドを取り付け、隠れたアクティベーションを物理量にデコードし、トレーニング中にPDEの残留損失を適用します。
これらのヘッドは、**ゼロのオーバーヘッド*を導入して、推論時に破棄される。
ダーシーフロー、トポロジー最適化、静電ポテンシャル、乱流チャネルフローを含む4つのPDEタスクにおいて、REPA-Pは収束を最大$2{\times}$で加速し、物理残基を最大$6.4\%で減らし、分布外ロバスト性を最大$49.3\%で改善し、U-NetとDiffusion Transformerのバックボーンに一貫した利得を与える。
アブレーションは、中間層の小さな集合を監督することが、ほとんどの利点を捉え、出力レベルの物理学的損失を補うことを示している。
コードは[https://github.com/Hxxxz0/REPA-P](https://github.com/Hxxxz0/REPA-P]で入手できる。
関連論文リスト
- Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation [50.55853275866995]
リアルタイムのインタラクティブなビデオ生成には、低レイテンシ、ストリーミング、コントロール可能なロールアウトが必要である。
本稿では,フレームワイドの自己回帰を1～2ステップのサンプリングで行うという,よりアグレッシブな設定について検討する。
原理的かつスケーラブルなパイプラインである textbfCausal Forcing++ を提案する。
論文 参考訳（メタデータ） (2026-05-14T17:46:36Z) - Neuromorphic Parameter Estimation for Power Converter Health Monitoring Using Spiking Neural Networks [0.0]
常時オンコンバータのヘルスモニタリングには、サブmWエッジ推論が必要である。
この研究は、スパイク時間処理と物理の執行を分離する。
93%のスパイクスペシャリティを持つこのアーキテクチャは、Intel Loihi 2やBrainChip Akidaの常時デプロイに適している。
論文 参考訳（メタデータ） (2026-04-17T05:34:53Z) - Learning Where the Physics Is: Probabilistic Adaptive Sampling for Stiff PDEs [0.0]
PIELMのカーネルを適応的にサンプリングする「物理の位置を表す確率密度関数」を学習するフレームワークを提案する。
重み付き期待最大化(EM)アルゴリズムを用いることで,GMM-PIELMは高数値誤差領域の放射基底関数中心を自律的に集中する。
論文 参考訳（メタデータ） (2026-03-06T13:46:38Z) - Ultra Fast PDE Solving via Physics Guided Few-step Diffusion [14.142544323232642]
Phys-InstructはPDEを解くための物理誘導蒸留フレームワークである。
事前学習された拡散PDEソルバを、マッチングジェネレータと事前拡散分布を介して、数ステップのジェネレータに圧縮する。
最先端拡散ベースラインと比較して、PDEエラーを8倍以上削減する。
論文 参考訳（メタデータ） (2026-02-03T15:16:42Z) - PIP$^2$ Net: Physics-informed Partition Penalty Deep Operator Network [0.0]
演算子学習はパラメータ化偏微分方程式(PDE)の解を加速する強力なツールとなった
DeepONet や Fourier Neural Operator (FNO) のような既存のアーキテクチャは、強いパフォーマンスを示すが、しばしば大規模なトレーニングデータセットを必要とする。
PIP$2$Netを導入し、予測精度と表現性において、DeepONet、PI-ONet、POU-DeepONetを一貫して上回っている。
論文 参考訳（メタデータ） (2025-12-17T05:04:41Z) - Deceptron: Learned Local Inverses for Fast and Stable Physics Inversion [0.0]
物理科学における逆問題はしばしば入力空間において不条件であり、ステップサイズに敏感である。
微分可能フォワードサロゲートの局所的逆数学習を行う軽量双方向モジュールであるDeceptronを提案する。
論文 参考訳（メタデータ） (2025-11-26T05:37:17Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - REPA Works Until It Doesn't: Early-Stopped, Holistic Alignment Supercharges Diffusion Training [58.33728862521732]
Diffusion Transformer (DiTs)は最先端の画像品質を提供するが、訓練は依然として遅い。
最近の治療 -- DiT の隠された特徴と非生成的教師(例えば DINO)の特徴とを一致させる表現アライメント(REPA) -- は、初期のエポックを劇的に加速させるが、その後パフォーマンスを低下させる。
生成学習者が共同データ分布をモデル化し始めると、教師の低次元埋め込みと注意パターンがガイドではなくストラトジャケットになる。
HASTEを紹介する
論文 参考訳（メタデータ） (2025-05-22T15:34:33Z) - Enabling Automatic Differentiation with Mollified Graph Neural Operators [73.52999622724101]
本稿では,自動微分と任意のジオメトリの正確な勾配を求める最初の手法であるモリファイドグラフニューラル演算子(m$GNO)を提案する。
正規格子上のPDEの例では、$m$GNOとオートグレードの組み合わせにより、L2相対データの誤差は有限差に比べて20倍減少した。
また、物理損失のみを使用し、有限差分に必要な分解能よりもはるかに低い精度で、非構造化点雲上のPDEをシームレスに解くことができる。
論文 参考訳（メタデータ） (2025-04-11T06:16:30Z) - Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
ResNets と Fully-Connected Nets を相互接続する Leaky ResNets について「有効深度」に依存して検討する。
この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文 参考訳（メタデータ） (2024-05-27T18:15:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。