論文の概要: Positional Encoding is All You Need for Scalable Equivariance Constraint Relaxation

• arxiv url: http://arxiv.org/abs/2611.05041v1
• Date: Tue, 03 Nov 2026 15:12:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 14:53:07.158975
• Title: Positional Encoding is All You Need for Scalable Equivariance Constraint Relaxation
• Title（参考訳）: 位置エンコーディングは、スケーラブルな等分散制約緩和に必要なすべて
• Abstract要約: 等変ニューラルネットワークは、置換、回転、翻訳などの既知のデータ対称性をアーキテクチャに直接組み込む。 位置符号化に基づくより効率的な制約緩和手法を提案する。
• 参考スコア（独自算出の注目度）: 40.533318979601056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Equivariant neural networks incorporate known symmetries of the data, such as permutations, rotations, or translations, directly into their architecture, often improving sample efficiency and generalization. However, strict equivariance can make optimization difficult, for example, when the data only approximately satisfy the assumed symmetry, or when the equivariance constraints induce a challenging loss landscape. Recent studies have shown that relaxing equivariance during training by introducing non-equivariant dense linear layers can ease optimization in such cases and improve the performance of the resulting strictly equivariant model, after removing the relaxation layers at test time. While effective, this approach incurs a significant computational overhead, limiting its applicability in scalable architectures. In this work, we propose a more efficient constraint-relaxation method based on positional encoding (PE). Our framework injects a positional encoding with learnable scale that breaks the model's original symmetry. This positional signal is gradually annealed to zero, recovering the original equivariant model by the end of training. Empirically, we demonstrate significant improvements for translational and rotational equivariant models with only marginal compute and memory overhead.
• Abstract（参考訳）: 等変ニューラルネットワークは、置換、回転、翻訳などの既知のデータ対称性をアーキテクチャに直接組み込んでおり、しばしばサンプル効率と一般化を改善している。 しかし、厳密な等分散は、例えば、データが仮定された対称性をほぼ満たす場合や、等分散制約が挑戦的な損失ランドスケープを誘導する場合など、最適化を困難にすることができる。 近年の研究では、非等変密度線形層の導入によるトレーニング中の緩和等分散は、テスト時に緩和層を除去した後、そのような場合の最適化を容易化し、結果の厳密な同変モデルの性能を向上させることが示されている。 効果はあるものの、このアプローチは計算オーバーヘッドを著しく増加させ、スケーラブルなアーキテクチャにおける適用性を制限する。 本研究では,位置符号化(PE)に基づくより効率的な制約緩和手法を提案する。 我々のフレームワークは学習可能なスケールで位置エンコーディングを注入し、モデルの本来の対称性を破る。 この位置信号は徐々にゼロにアニールされ、訓練の終わりまでに元の同変モデルを回復する。 実験により,限界計算とメモリオーバーヘッドのみを有する翻訳および回転同変モデルの大幅な改善が示された。

関連論文リスト

• Aligning Network Equivariance with Data Symmetry: A Theoretical Framework and Adaptive Approach for Image Restoration [71.51826063983434]
  画像復元は本質的に逆問題である。 非厳密対称性を制約として、復元逆問題を定式化する。 最適復元演算子の等値誤差はデータ対称性誤差と離散化メッシュサイズによって厳密に制限されていることを示す。
  論文  参考訳（メタデータ） (2026-05-13T16:22:19Z)
• Learning (Approximately) Equivariant Networks via Constrained Optimization [25.51476313302483]
  等価ニューラルネットワークは、そのアーキテクチャを通して対称性を尊重するように設計されている。 実世界のデータは、ノイズ、構造的変動、測定バイアス、その他の対称性を破る効果のために、しばしば完全対称性から逸脱する。 適応制約等分散(ACE)は、柔軟で非等価なモデルから始まる制約付き最適化手法である。
  論文  参考訳（メタデータ） (2025-05-19T18:08:09Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Improving Equivariant Model Training via Constraint Relaxation [31.507956579770088]
  そこで本研究では,トレーニング中の厳密な均衡制約を緩和することにより,そのようなモデルの最適化を改善する新しい枠組みを提案する。 本研究では,様々な最先端ネットワークアーキテクチャの実験結果を提供し,このトレーニングフレームワークが一般化性能を向上した同変モデルを実現する方法を示す。
  論文  参考訳（メタデータ） (2024-08-23T17:35:08Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Equivariant Adaptation of Large Pretrained Models [20.687626756753563]
  正規化ネットワークは,大規模な事前学習ネットワークの同種化に有効であることを示す。 データセットに依存した事前情報を用いて正準化関数を通知し、その性能を維持しながら、大きな事前訓練されたモデルを同変させることができる。
  論文  参考訳（メタデータ） (2023-10-02T21:21:28Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。