論文の概要: Deconstructing the Inductive Biases of Hamiltonian Neural Networks

• arxiv url: http://arxiv.org/abs/2202.04836v2
• Date: Sat, 12 Feb 2022 01:04:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 13:54:54.480772
• Title: Deconstructing the Inductive Biases of Hamiltonian Neural Networks
• Title（参考訳）: ハミルトンニューラルネットワークの帰納的バイアスを分解する
• Authors: Nate Gruver, Marc Finzi, Samuel Stanton, Andrew Gordon Wilson
• Abstract要約: 物理学にインスパイアされたニューラルネットワーク(NN)は、強い帰納バイアスを利用して、他の学習された力学モデルよりも劇的に優れている。 従来の知恵とは対照的に、HNNの一般化の改善は、直接的に加速をモデル化した結果であることを示す。 これらのモデルの帰納バイアスを緩和することにより、エネルギー保存システムの性能に適合または超えることができ、実用的な非保守システムの性能を劇的に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 41.37309202965647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physics-inspired neural networks (NNs), such as Hamiltonian or Lagrangian NNs, dramatically outperform other learned dynamics models by leveraging strong inductive biases. These models, however, are challenging to apply to many real world systems, such as those that don't conserve energy or contain contacts, a common setting for robotics and reinforcement learning. In this paper, we examine the inductive biases that make physics-inspired models successful in practice. We show that, contrary to conventional wisdom, the improved generalization of HNNs is the result of modeling acceleration directly and avoiding artificial complexity from the coordinate system, rather than symplectic structure or energy conservation. We show that by relaxing the inductive biases of these models, we can match or exceed performance on energy-conserving systems while dramatically improving performance on practical, non-conservative systems. We extend this approach to constructing transition models for common Mujoco environments, showing that our model can appropriately balance inductive biases with the flexibility required for model-based control.
• Abstract（参考訳）: 物理学に触発されたニューラルネットワーク(nns)は、ハミルトンやラグランジュのnnsのように、強い帰納的バイアスを利用して、他の学習力学モデルを大きく上回る。 しかし、これらのモデルは、エネルギーを保存せず、接触も含まない、ロボット工学や強化学習の一般的な設定など、多くの現実世界システムに適用することは困難である。 本稿では,物理に触発されたモデルを実際に成功させる誘導バイアスについて検討する。 従来の知恵とは対照的に,HNNの一般化は加速を直接モデル化し,シンプレクティック構造やエネルギー保存ではなく,座標系から人工的な複雑さを避ける結果である。 これらのモデルの帰納バイアスを緩和することにより、エネルギー保存システムの性能に適合または超えることができ、実用的な非保守システムの性能を劇的に向上させることができることを示す。 このアプローチを一般的なMujoco環境の遷移モデル構築に拡張し、モデルベースの制御に必要な柔軟性と帰納バイアスを適切にバランスさせることができることを示す。

関連論文リスト

• TANGO: Time-Reversal Latent GraphODE for Multi-Agent Dynamical Systems [43.39754726042369]
  連続グラフニューラルネットワークに基づく常微分方程式(GraphODE)により予測される前後の軌跡を整列するソフト制約として,単純かつ効果的な自己監督型正規化項を提案する。 時間反転対称性を効果的に課し、古典力学の下でより広い範囲の力学系にわたってより正確なモデル予測を可能にする。 様々な物理システムに対する実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-10-10T08:52:16Z)
• Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
  トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。 既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。 我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:15:57Z)
• SEGNO: Generalizing Equivariant Graph Neural Networks with Physical Inductive Biases [66.61789780666727]
  等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。 また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。 我々のモデルは最先端のベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-25T07:15:58Z)
• MINN: Learning the dynamics of differential-algebraic equations and application to battery modeling [3.900623554490941]
  我々は、モデル統合ニューラルネットワーク(MINN)を生成するための新しいアーキテクチャを提案する。 MINNは、システムの物理に基づく力学の学習レベルとの統合を可能にする。 提案したニューラルネットワークアーキテクチャを用いてリチウムイオン電池の電気化学的ダイナミクスをモデル化する。
  論文  参考訳（メタデータ） (2023-04-27T09:11:40Z)
• Unravelling the Performance of Physics-informed Graph Neural Networks for Dynamical Systems [5.787429262238507]
  グラフニューラルネットワーク(GNN)とその変種の性能を、明示的な制約と異なるアーキテクチャで評価する。 本研究は, 明示的制約や運動エネルギーとポテンシャルエネルギーの疎結合などの付加的な誘導バイアスを有するGNNが, 性能を著しく向上することを示した。 全ての物理インフォームドGNNは、訓練システムよりも桁違いの大きさのシステムサイズに対してゼロショットの一般化性を示し、大規模な現実的なシステムをシミュレートする有望な経路を提供する。
  論文  参考訳（メタデータ） (2022-11-10T12:29:30Z)
• Maximum entropy exploration in contextual bandits with neural networks and energy based models [63.872634680339644]
  モデルには2つのクラスがあり、1つはニューラルネットワークを報酬推定器とし、もう1つはエネルギーベースモデルを示す。 両手法は、エネルギーベースモデルが最も優れた性能を持つ、よく知られた標準アルゴリズムより優れていることを示す。 これは、静的および動的設定でよく機能する新しいテクニックを提供し、特に連続的なアクション空間を持つ非線形シナリオに適している。
  論文  参考訳（メタデータ） (2022-10-12T15:09:45Z)
• Enhancing the Inductive Biases of Graph Neural ODE for Modeling Dynamical Systems [19.634451472032733]
  動的システムの時間進化を学習するために,グラフベースのニューラルODE,GNODEを提案する。 我々は,LNNやHNNと同様,制約を明示的に符号化することで,GNODEのトレーニング効率と性能を大幅に向上させることができることを示す。 これらのバイアスを誘導することで、エネルギー違反とロールアウトエラーの両方の観点から、モデルの性能を桁違いに向上させることができることを実証する。
  論文  参考訳（メタデータ） (2022-09-22T02:20:29Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Forced Variational Integrator Networks for Prediction and Control of Mechanical Systems [7.538482310185133]
  強制的変動積分器ネットワーク(FVIN)アーキテクチャにより,エネルギー散逸と外部強制を正確に考慮できることを示す。 これにより、高データ効率のモデルベース制御が可能となり、実際の非保守的なシステムで予測できる。
  論文  参考訳（メタデータ） (2021-06-05T21:39:09Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。