論文の概要: A Probabilistic Approach to Learning the Degree of Equivariance in Steerable CNNs

• arxiv url: http://arxiv.org/abs/2406.03946v2
• Date: Wed, 14 Aug 2024 13:39:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 17:36:35.238681
• Title: A Probabilistic Approach to Learning the Degree of Equivariance in Steerable CNNs
• Title（参考訳）: ステアブルCNNにおける等分散度学習のための確率論的アプローチ
• Authors: Lars Veefkind, Gabriele Cesa,
• Abstract要約: ステアブル畳み込みニューラルネットワーク(SCNN)は、幾何学的対称性をモデル化することによってタスク性能を向上させる。 しかし、未知あるいは様々な対称性は、過剰に制約された重量と性能を低下させる可能性がある。 本稿では,SCNNの等価度を学習するための確率的手法を提案する。
• 参考スコア（独自算出の注目度）: 5.141137421503899
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Steerable convolutional neural networks (SCNNs) enhance task performance by modelling geometric symmetries through equivariance constraints on weights. Yet, unknown or varying symmetries can lead to overconstrained weights and decreased performance. To address this, this paper introduces a probabilistic method to learn the degree of equivariance in SCNNs. We parameterise the degree of equivariance as a likelihood distribution over the transformation group using Fourier coefficients, offering the option to model layer-wise and shared equivariance. These likelihood distributions are regularised to ensure an interpretable degree of equivariance across the network. Advantages include the applicability to many types of equivariant networks through the flexible framework of SCNNs and the ability to learn equivariance with respect to any subgroup of any compact group without requiring additional layers. Our experiments reveal competitive performance on datasets with mixed symmetries, with learnt likelihood distributions that are representative of the underlying degree of equivariance.
• Abstract（参考訳）: ステアブル畳み込みニューラルネットワーク(SCNN)は、重みの等分散制約を通じて幾何対称性をモデル化することによりタスク性能を向上させる。 しかし、未知あるいは様々な対称性は、過剰に制約された重量と性能を低下させる可能性がある。 そこで本研究では,SCNNにおける等価度を学習するための確率的手法を提案する。 フーリエ係数を用いて変換群上の確率分布として同値の度合いをパラメータ化し、層状および共有同値をモデル化するオプションを提供する。 これらの可能性分布は、ネットワーク全体での解釈可能な等式を保証するために規則化される。 利点としては、SCNNのフレキシブルな枠組みを通じて、多くの種類の同変ネットワークに適用可能であり、任意のコンパクト群の任意の部分群に対して、追加の層を必要とせずに同変を学習できる能力がある。 本実験は, 混合対称性を持つデータセット上で, 基礎となる等値度を表す学習確率分布を用いて, 競合性能を示すものである。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Variational Partial Group Convolutions for Input-Aware Partial Equivariance of Rotations and Color-Shifts [21.397064770689795]
  グループ同変CNN(G-CNN)は、階層的特徴を同変的に捉える能力から、様々なタスクにおいて有望な有効性を示している。 本稿では,各データインスタンスに特有の部分的等値の変動レベルを捉えるための新しいアプローチとして,変分部分G-CNN(VP G-CNN)を提案する。 本稿では,M67-180,CIFAR10,ColorMNIST,Flowers102など,おもちゃと現実世界の両方のデータセットに対するVP G-CNNの有効性を示す。
  論文  参考訳（メタデータ） (2024-07-05T05:52:51Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• On genuine invariance learning without weight-tying [6.308539010172309]
  重み付け制約を伴わないニューラルネットワークにおける不変学習を解析する。 学習した不変性は入力データに強く条件付けられており、入力分布がシフトした場合は信頼できないことを示す。
  論文  参考訳（メタデータ） (2023-08-07T20:41:19Z)
• Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance [16.49488981364657]
  群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。 我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。 実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
  論文  参考訳（メタデータ） (2023-06-05T13:40:54Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
  提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。 CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
  論文  参考訳（メタデータ） (2022-04-14T18:08:36Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Learning Invariant Weights in Neural Networks [16.127299898156203]
  機械学習でよく使われるモデルの多くは、データ内の特定の対称性を尊重することを制約している。 本稿では,ニューラルネットワークにおける不変性学習の限界値の最小化により,このアプローチに準ずる重み空間を提案する。
  論文  参考訳（メタデータ） (2022-02-25T00:17:09Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。