論文の概要: Learning (Approximately) Equivariant Networks via Constrained Optimization

• arxiv url: http://arxiv.org/abs/2505.13631v1
• Date: Mon, 19 May 2025 18:08:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.476246
• Title: Learning (Approximately) Equivariant Networks via Constrained Optimization
• Title（参考訳）: 制約付き最適化による(ほぼ)等変ネットワークの学習
• Authors: Andrei Manolache, Luiz F. O. Chamon, Mathias Niepert,
• Abstract要約: 等価ニューラルネットワークは、そのアーキテクチャを通して対称性を尊重するように設計されている。 実世界のデータは、ノイズ、構造的変動、測定バイアス、その他の対称性を破る効果のために、しばしば完全対称性から逸脱する。 適応制約等分散(ACE)は、柔軟で非等価なモデルから始まる制約付き最適化手法である。
• 参考スコア（独自算出の注目度）: 25.51476313302483
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Equivariant neural networks are designed to respect symmetries through their architecture, boosting generalization and sample efficiency when those symmetries are present in the data distribution. Real-world data, however, often departs from perfect symmetry because of noise, structural variation, measurement bias, or other symmetry-breaking effects. Strictly equivariant models may struggle to fit the data, while unconstrained models lack a principled way to leverage partial symmetries. Even when the data is fully symmetric, enforcing equivariance can hurt training by limiting the model to a restricted region of the parameter space. Guided by homotopy principles, where an optimization problem is solved by gradually transforming a simpler problem into a complex one, we introduce Adaptive Constrained Equivariance (ACE), a constrained optimization approach that starts with a flexible, non-equivariant model and gradually reduces its deviation from equivariance. This gradual tightening smooths training early on and settles the model at a data-driven equilibrium, balancing between equivariance and non-equivariance. Across multiple architectures and tasks, our method consistently improves performance metrics, sample efficiency, and robustness to input perturbations compared with strictly equivariant models and heuristic equivariance relaxations.
• Abstract（参考訳）: 等価ニューラルネットワークは、そのアーキテクチャを通して対称性を尊重するように設計されており、それらの対称性がデータ分布に存在するときの一般化とサンプル効率を高める。 しかし、実世界のデータは、ノイズ、構造的変動、測定バイアス、その他の対称性を破る影響のために、しばしば完全対称性から逸脱する。 厳密な同変モデルはデータの適合に苦慮するが、制約のないモデルは部分対称性を利用するための原則的な方法が欠けている。 データが完全に対称である場合でも、同値の強制は、モデルをパラメータ空間の制限された領域に制限することにより、トレーニングを損なう可能性がある。 ホモトピーの原理によって導かれる最適化問題は、より単純な問題をより複雑なものに段階的に変換することで解決されるが、適応制約等分散(ACE)は、柔軟な非等変モデルから始まる制約付き最適化アプローチであり、等変からの偏差を徐々に減少させる。 この段階的な締め付けは、トレーニングを早期に円滑にし、同値と非等分散のバランスをとる、データ駆動均衡でモデルを落ち着かせる。 複数のアーキテクチャやタスクにまたがって,本手法は厳密な同変モデルやヒューリスティックな等式緩和と比較して,入力摂動に対する性能指標,サンプル効率,ロバスト性を一貫して改善する。

関連論文リスト

• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [41.50816120270017]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Approximate Equivariance in Reinforcement Learning [35.04248486334824]
  我々は、強化学習におけるほぼ同変のアルゴリズムを開発した。 その結果, ほぼ同変ネットワークは, 正確な対称性が存在する場合に, 正確に同変ネットワークと同等に動作することがわかった。
  論文  参考訳（メタデータ） (2024-11-06T19:44:46Z)
• Approximately Equivariant Neural Processes [47.14384085714576]
  実世界のデータをモデル化する場合、学習問題は必ずしも同変ではなく、概ね同変であることが多い。 これを達成するための現在のアプローチは、通常任意のアーキテクチャや対称性群に対して最初から適用することはできない。 我々は、既存の同変アーキテクチャを用いてこれを実現するための一般的なアプローチを開発する。
  論文  参考訳（メタデータ） (2024-06-19T12:17:14Z)
• Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
  我々は「緩和された同注入」という新しい概念を導入する。 我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。 対称性の破れの関連性は、様々な応用領域で議論される。
  論文  参考訳（メタデータ） (2023-12-14T15:06:48Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
  提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。 CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
  論文  参考訳（メタデータ） (2022-04-14T18:08:36Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。