論文の概要: A General Theory of Correct, Incorrect, and Extrinsic Equivariance

• arxiv url: http://arxiv.org/abs/2303.04745v2
• Date: Sat, 28 Oct 2023 13:53:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 23:03:55.030751
• Title: A General Theory of Correct, Incorrect, and Extrinsic Equivariance
• Title（参考訳）: 正当性, 誤り性, 外在性等式に関する一般理論
• Authors: Dian Wang, Xupeng Zhu, Jung Yeon Park, Mingxi Jia, Guanang Su, Robert Platt, Robin Walters
• Abstract要約: 同変学習文献の欠片は、対称性が領域内にのみ存在するときの同変ネットワークの分析である。 本研究では,そのような状況に関する一般的な理論を提示する。 部分的不正確な対称性を持つ分類や回帰設定において、不変あるいは同変ネットワークに対する誤差の低い境界を証明した。
• 参考スコア（独自算出の注目度）: 22.625954325866907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although equivariant machine learning has proven effective at many tasks, success depends heavily on the assumption that the ground truth function is symmetric over the entire domain matching the symmetry in an equivariant neural network. A missing piece in the equivariant learning literature is the analysis of equivariant networks when symmetry exists only partially in the domain. In this work, we present a general theory for such a situation. We propose pointwise definitions of correct, incorrect, and extrinsic equivariance, which allow us to quantify continuously the degree of each type of equivariance a function displays. We then study the impact of various degrees of incorrect or extrinsic symmetry on model error. We prove error lower bounds for invariant or equivariant networks in classification or regression settings with partially incorrect symmetry. We also analyze the potentially harmful effects of extrinsic equivariance. Experiments validate these results in three different environments.
• Abstract（参考訳）: 等価な機械学習は多くのタスクで有効であることが証明されているが、成功は、同変ニューラルネットワークの対称性に一致する領域全体に基底真理関数が対称であるという仮定に大きく依存している。 同変学習文献の欠片は、対称性が領域内にのみ存在するときの同変ネットワークの分析である。 本研究では,そのような状況に対する一般的な理論を示す。 関数が表示する各種類の等分散の程度を連続的に定量化できる、正、不正確、極値等分散のポイントワイズ定義を提案する。 次に, モデル誤差に対する不正確な, 極端な対称性の影響について検討した。 部分的不正確な対称性を持つ分類や回帰設定において、不変あるいは同変ネットワークに対する誤差の低い境界を証明した。 また、外因性同値の潜在的有害効果も分析した。 実験は3つの異なる環境でこれらの結果を検証する。

関連論文リスト

• Approximate Equivariance in Reinforcement Learning [35.04248486334824]
  等変ニューラルネットワークは強化学習において大きな成功を収めている。 多くの問題において、近似対称性のみが存在しており、これは正確な対称性を不適切なものにしている。 我々は、強化学習におけるほぼ同変のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-06T19:44:46Z)
• Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
  我々は「緩和された同注入」という新しい概念を導入する。 我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。 対称性の破れの関連性は、様々な応用領域で議論される。
  論文  参考訳（メタデータ） (2023-12-14T15:06:48Z)
• Almost Equivariance via Lie Algebra Convolutions [0.0]
  ほぼ同値の定義を提供し、それをモデルで符号化する実践的な方法を与える。 具体的には、リー代数の畳み込みを定義し、それらがリー群畳み込みに対していくつかの利点を提供することを示す。 2つの存在定理を証明し、1つは多様体の等距離の有界距離におけるほぼ等距離の存在を示し、もう1つはヒルベルト空間の逆を示す。
  論文  参考訳（メタデータ） (2023-10-19T21:31:11Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
  提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。 CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
  論文  参考訳（メタデータ） (2022-04-14T18:08:36Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。