論文の概要: Almost Equivariance via Lie Algebra Convolutions

• arxiv url: http://arxiv.org/abs/2310.13164v4
• Date: Fri, 2 Feb 2024 16:43:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 19:43:25.426581
• Title: Almost Equivariance via Lie Algebra Convolutions
• Title（参考訳）: リー代数畳み込みによる概等分散
• Authors: Daniel McNeela
• Abstract要約: ほぼ同値の定義を提供し、それをモデルで符号化する実践的な方法を与える。 具体的には、リー代数の畳み込みを定義し、それらがリー群畳み込みに対していくつかの利点を提供することを示す。 2つの存在定理を証明し、1つは多様体の等距離の有界距離におけるほぼ等距離の存在を示し、もう1つはヒルベルト空間の逆を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the equivariance of models with respect to a group action has become an important topic of research in machine learning. Analysis of the built-in equivariance of existing neural network architectures, as well as the study of building models that explicitly "bake in" equivariance, have become significant research areas in their own right. However, imbuing an architecture with a specific group equivariance imposes a strong prior on the types of data transformations that the model expects to see. While strictly-equivariant models enforce symmetries, real-world data does not always conform to such strict equivariances. In such cases, the prior of strict equivariance can actually prove too strong and cause models to underperform. Therefore, in this work we study a closely related topic, that of almost equivariance. We provide a definition of almost equivariance and give a practical method for encoding almost equivariance in models by appealing to the Lie algebra of a Lie group. Specifically, we define Lie algebra convolutions and demonstrate that they offer several benefits over Lie group convolutions, including being well-defined for non-compact Lie groups having non-surjective exponential map. From there, we demonstrate connections between the notions of equivariance and isometry and those of almost equivariance and almost isometry. We prove two existence theorems, one showing the existence of almost isometries within bounded distance of isometries of a manifold, and another showing the converse for Hilbert spaces. We extend these theorems to prove the existence of almost equivariant manifold embeddings within bounded distance of fully equivariant embedding functions, subject to certain constraints on the group action and the function class. Finally, we demonstrate the validity of our approach by benchmarking against datasets in fully equivariant and almost equivariant settings.
• Abstract（参考訳）: 近年,機械学習の研究において,集団行動に関するモデルの等価性が重要な話題となっている。 既存のニューラルネットワークアーキテクチャの組込み等価性の解析や、明示的に"bake in"等価性を持つモデルの構築に関する研究は、それ自体で重要な研究領域となっている。 しかし、特定のグループの同値性を持つアーキテクチャを付与することは、モデルが期待するデータ変換のタイプに強く先行する。 厳密な同変モデルは対称性を強制するが、実世界のデータは必ずしもそのような厳密な等式に従わない。 そのような場合、厳密な等分散の事前は実際には強すぎることが証明され、モデルが過小評価される。 そこで本研究では,近縁な話題であるほぼ同値な話題について考察する。 概等分散の定義を提供し、リー群のリー代数に訴えることでモデルの概等分散を符号化する実用的な方法を与える。 具体的には、リー代数の畳み込みを定義し、それらはリー群畳み込みよりもいくつかの利点をもたらすことを証明している。 そこから, 等分散および等化の概念と, 概等分散および概等化の概念との関係を示す。 2つの存在定理を証明し、1つは多様体の等距離の有界距離における概等距離の存在を示し、もう1つはヒルベルト空間の逆を示す。 我々は、これらの定理を拡張して、群作用と関数類に関する一定の制約に従う完全同値な埋め込み関数の有界距離内における概同値多様体埋め込みの存在を証明する。 最後に、完全同値およびほぼ同値な設定でデータセットに対してベンチマークを行うことにより、このアプローチの有効性を実証する。

関連論文リスト

• Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
  コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。 我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
  論文  参考訳（メタデータ） (2023-10-17T16:04:33Z)
• Approximation-Generalization Trade-offs under (Approximate) Group Equivariance [3.0458514384586395]
  グループ同変ニューラルネットワークは、タンパク質や薬物の設計など、様々な分野や応用において印象的な性能を示している。 タスク固有の対称性を捉えるモデルが一般化にどう貢献するかを示す。 モデル対称性がデータ対称性と一致しない場合のモデルミス特定に関するより一般的な問題について検討する。
  論文  参考訳（メタデータ） (2023-05-27T22:53:37Z)
• A General Theory of Correct, Incorrect, and Extrinsic Equivariance [22.625954325866907]
  同変学習文献の欠片は、対称性が領域内にのみ存在するときの同変ネットワークの分析である。 本研究では,そのような状況に関する一般的な理論を提示する。 部分的不正確な対称性を持つ分類や回帰設定において、不変あるいは同変ネットワークに対する誤差の低い境界を証明した。
  論文  参考訳（メタデータ） (2023-03-08T17:28:54Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
  本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。 グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。 実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-06-07T07:03:14Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。