論文の概要: Almost Equivariance via Lie Algebra Convolutions

• arxiv url: http://arxiv.org/abs/2310.13164v6
• Date: Thu, 20 Jun 2024 03:08:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 06:27:34.417919
• Title: Almost Equivariance via Lie Algebra Convolutions
• Title（参考訳）: リー代数畳み込みによるほぼ等分散
• Authors: Daniel McNeela,
• Abstract要約: ほぼ同値の定義を提供し、それをモデルで符号化する実践的な方法を与える。 具体的には、リー代数の畳み込みを定義し、それらがリー群畳み込みに対していくつかの利点を提供することを示す。 2つの存在定理を証明し、1つは多様体の等距離の有界距離におけるほぼ等距離の存在を示し、もう1つはヒルベルト空間の逆を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the equivariance of models with respect to a group action has become an important topic of research in machine learning. Analysis of the built-in equivariance of existing neural network architectures, as well as the study of building models that explicitly "bake in" equivariance, have become significant research areas in their own right. However, imbuing an architecture with a specific group equivariance imposes a strong prior on the types of data transformations that the model expects to see. While strictly-equivariant models enforce symmetries, real-world data does not always conform to such strict equivariances. In such cases, the prior of strict equivariance can actually prove too strong and cause models to underperform. Therefore, in this work we study a closely related topic, that of almost equivariance. We provide a definition of almost equivariance and give a practical method for encoding almost equivariance in models by appealing to the Lie algebra of a Lie group. Specifically, we define Lie algebra convolutions and demonstrate that they offer several benefits over Lie group convolutions, including being well-defined for non-compact Lie groups having non-surjective exponential map. From there, we demonstrate connections between the notions of equivariance and isometry and those of almost equivariance and almost isometry. We prove two existence theorems, one showing the existence of almost isometries within bounded distance of isometries of a manifold, and another showing the converse for Hilbert spaces. We extend these theorems to prove the existence of almost equivariant manifold embeddings within bounded distance of fully equivariant embedding functions, subject to certain constraints on the group action and the function class. Finally, we demonstrate the validity of our approach by benchmarking against datasets in fully equivariant and almost equivariant settings.
• Abstract（参考訳）: 近年,集団行動に関するモデルの同値性は,機械学習における研究の重要課題となっている。 既存のニューラルネットワークアーキテクチャの組込み等価性の解析と、明確に「等価」な構造モデルの研究は、彼ら自身の権利において重要な研究領域となっている。 しかし、特定の群同値のアーキテクチャを付与することは、モデルが期待するデータ変換のタイプに強い優先順位を課す。 厳密な同変モデルは対称性を強制するが、実世界のデータは必ずしもそのような厳密な等式に従わない。 そのような場合、厳密な同値の先行は実際には強すぎることを証明し、モデルが過小評価される。 したがって、本研究では、近縁なトピック、ほぼ同値なトピックについて研究する。 我々は、ほぼ同値の定義を提供し、リー群のリー代数に訴えることで、モデルのほとんど同値を符号化する実践的な方法を与える。 具体的には、リー代数の畳み込みを定義し、それらがリー群畳み込みに対していくつかの利点を与えることを示す。 そこから、同値と等尺性の概念とほぼ等尺性およびほぼ等尺性の概念の関連性を示す。 2つの存在定理を証明し、1つは多様体の等距離の有界距離におけるほぼ等距離の存在を示し、もう1つはヒルベルト空間の逆を示す。 これらの定理を拡張して、群作用と函数類に関する一定の制約を条件として、完全同変埋め込み函数の有界距離内のほぼ同変多様体埋め込みの存在を証明する。 最後に、完全同変でほぼ同変な設定でデータセットに対してベンチマークを行うことにより、我々のアプローチの有効性を実証する。

関連論文リスト

• Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
  コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。 我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
  論文  参考訳（メタデータ） (2023-10-17T16:04:33Z)
• Approximation-Generalization Trade-offs under (Approximate) Group Equivariance [3.0458514384586395]
  グループ同変ニューラルネットワークは、タンパク質や薬物の設計など、様々な分野や応用において印象的な性能を示している。 タスク固有の対称性を捉えるモデルが一般化にどう貢献するかを示す。 モデル対称性がデータ対称性と一致しない場合のモデルミス特定に関するより一般的な問題について検討する。
  論文  参考訳（メタデータ） (2023-05-27T22:53:37Z)
• A General Theory of Correct, Incorrect, and Extrinsic Equivariance [22.625954325866907]
  同変学習文献の欠片は、対称性が領域内にのみ存在するときの同変ネットワークの分析である。 本研究では,そのような状況に関する一般的な理論を提示する。 部分的不正確な対称性を持つ分類や回帰設定において、不変あるいは同変ネットワークに対する誤差の低い境界を証明した。
  論文  参考訳（メタデータ） (2023-03-08T17:28:54Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
  本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。 グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。 実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-06-07T07:03:14Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。