論文の概要: Approximate equivariance via projection-based regularisation

• arxiv url: http://arxiv.org/abs/2601.05028v1
• Date: Thu, 08 Jan 2026 15:35:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.254699
• Title: Approximate equivariance via projection-based regularisation
• Title（参考訳）: 射影ベース正則化による近似同値性
• Authors: Torben Berndt, Jan Stühmer,
• Abstract要約: 非同変モデルは、実行時のパフォーマンスと不完全な対称性のため、再び注目を集めている。 これは、対称性の尊重とデータ分布の適合の間に中間点を打つ、ほぼ同変モデルの開発を動機付けている。 本研究では,空間領域とスペクトル領域の両方において,非等分散ペナルティを正確に,効率的に計算するための数学的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 1.5755923640031846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equivariance is a powerful inductive bias in neural networks, improving generalisation and physical consistency. Recently, however, non-equivariant models have regained attention, due to their better runtime performance and imperfect symmetries that might arise in real-world applications. This has motivated the development of approximately equivariant models that strike a middle ground between respecting symmetries and fitting the data distribution. Existing approaches in this field usually apply sample-based regularisers which depend on data augmentation at training time, incurring a high sample complexity, in particular for continuous groups such as $SO(3)$. This work instead approaches approximate equivariance via a projection-based regulariser which leverages the orthogonal decomposition of linear layers into equivariant and non-equivariant components. In contrast to existing methods, this penalises non-equivariance at an operator level across the full group orbit, rather than point-wise. We present a mathematical framework for computing the non-equivariance penalty exactly and efficiently in both the spatial and spectral domain. In our experiments, our method consistently outperforms prior approximate equivariance approaches in both model performance and efficiency, achieving substantial runtime gains over sample-based regularisers.
• Abstract（参考訳）: 等分散はニューラルネットワークの強力な帰納バイアスであり、一般化と物理的整合性を改善する。 しかし、近年、実行時の性能が向上し、現実のアプリケーションで発生する可能性のある不完全な対称性が原因で、非同変モデルが再び注目を集めている。 これは、対称性の尊重とデータ分布の適合の間に中間点を打つ、ほぼ同変モデルの開発を動機付けている。 この分野の既存のアプローチは、通常、訓練時にデータ拡張に依存するサンプルベース正規化器を適用し、特に$SO(3)$のような連続群に対して、高いサンプル複雑性をもたらす。 この研究は、線型層の直交分解を同変成分と非同変成分に活用する射影ベースの正則分解器を通じて近似同値にアプローチする。 既存の方法とは対照的に、これは点に関してではなく、全群軌道を横断する作用素レベルでの非等式を解析する。 本研究では,空間領域とスペクトル領域の両方において,非等分散ペナルティを正確に,効率的に計算するための数学的枠組みを提案する。 実験では, モデル性能と効率の両面において, 従来とほぼ同値な手法を一貫して上回り, サンプルベースレギュラーよりも実質的な実行時ゲインを実現している。

関連論文リスト

• Learning (Approximately) Equivariant Networks via Constrained Optimization [25.51476313302483]
  等価ニューラルネットワークは、そのアーキテクチャを通して対称性を尊重するように設計されている。 実世界のデータは、ノイズ、構造的変動、測定バイアス、その他の対称性を破る効果のために、しばしば完全対称性から逸脱する。 適応制約等分散(ACE)は、柔軟で非等価なモデルから始まる制約付き最適化手法である。
  論文  参考訳（メタデータ） (2025-05-19T18:08:09Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Symmetry and Generalisation in Machine Learning [0.0]
  等変でない任意の予測器に対して、全ての回帰問題に対するテストリスクが厳格に低い同変予測器が存在することを示す。 我々は別の視点を採用し、不変モデルによる学習が軌道代表者の問題に還元されるという共通の直観を定式化する。
  論文  参考訳（メタデータ） (2025-01-07T15:14:58Z)
• Equivariant score-based generative models provably learn distributions with symmetries efficiently [7.90752151686317]
  実験的な研究により、対称性を生成モデルに組み込むことで、より優れた一般化とサンプリング効率が得られることが示されている。 我々は,ある群対称性に対して不変な分布を学習するためのスコアベース生成モデル(SGM)の最初の理論的解析と保証を提供する。
  論文  参考訳（メタデータ） (2024-10-02T05:14:28Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts [3.7819322027528113]
  本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。 サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2023-04-07T01:45:09Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。