論文の概要: A PAC-Bayesian Generalization Bound for Equivariant Networks
- arxiv url: http://arxiv.org/abs/2210.13150v1
- Date: Mon, 24 Oct 2022 12:07:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 14:40:00.612885
- Title: A PAC-Bayesian Generalization Bound for Equivariant Networks
- Title（参考訳）: 等変ネットワークのためのPAC-Bayesian一般化境界
- Authors: Arash Behboodi, Gabriele Cesa, Taco Cohen
- Abstract要約: 我々は、同変ネットワークに対するノルムベースのPAC-ベイジアン一般化境界を導出する。
境界は、群のサイズ、および一般化誤差に対する可約表現の多重度と次数の影響を特徴づける。
一般に、モデルにおけるより大きなグループサイズを用いることで、広範な数値実験によって証明された一般化誤差が向上することを示す。
- 参考スコア（独自算出の注目度）: 15.27608414735815
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Equivariant networks capture the inductive bias about the symmetry of the
learning task by building those symmetries into the model. In this paper, we
study how equivariance relates to generalization error utilizing PAC Bayesian
analysis for equivariant networks, where the transformation laws of feature
spaces are determined by group representations. By using perturbation analysis
of equivariant networks in Fourier domain for each layer, we derive norm-based
PAC-Bayesian generalization bounds. The bound characterizes the impact of group
size, and multiplicity and degree of irreducible representations on the
generalization error and thereby provide a guideline for selecting them. In
general, the bound indicates that using larger group size in the model improves
the generalization error substantiated by extensive numerical experiments.
- Abstract（参考訳）: 等変ネットワークは、これらの対称性をモデルに組み込むことで、学習タスクの対称性に関する帰納バイアスをキャプチャする。
本稿では,同値空間の変換則が群表現によって決定される同変ネットワークに対するPACベイズ解析を用いた一般化誤差との関係について検討する。
各層に対するフーリエ領域における同変ネットワークの摂動解析を用いて、ノルムベースのPAC-ベイズ一般化境界を導出する。
境界は、一般化誤差に対するグループサイズ、および既約表現の多重度と次数の影響を特徴付け、それらを選択するためのガイドラインを提供する。
一般に、モデルにおけるより大きなグループサイズを用いることで、広範な数値実験によって証明された一般化誤差が向上することを示す。
関連論文リスト
- Generalization for Least Squares Regression With Simple Spiked Covariances [3.9134031118910264]
勾配降下によって訓練された2層ニューラルネットワークの一般化特性はいまだよく分かっていない。
最近の研究は、隠れた層における特徴行列のスペクトルを記述することで進展した。
しかし、スパイク共分散を持つ線形モデルの一般化誤差は以前には決定されていない。
論文 参考訳（メタデータ） (2024-10-17T19:46:51Z) - Equivariant score-based generative models provably learn distributions with symmetries efficiently [7.90752151686317]
実験的な研究により、対称性を生成モデルに組み込むことで、より優れた一般化とサンプリング効率が得られることが示されている。
我々は,ある群対称性に対して不変な分布を学習するためのスコアベース生成モデル(SGM)の最初の理論的解析と保証を提供する。
論文 参考訳（メタデータ） (2024-10-02T05:14:28Z) - Decomposition of Equivariant Maps via Invariant Maps: Application to Universal Approximation under Symmetry [3.0518581575184225]
我々は、群 $G$ に関する不変写像と同変写像の関係の理論を発展させる。
我々は、この理論をグループ対称性を持つディープニューラルネットワークの文脈で活用し、それらのメカニズムに関する新たな洞察を得る。
論文 参考訳（メタデータ） (2024-09-25T13:27:41Z) - Unified Universality Theorem for Deep and Shallow Joint-Group-Equivariant Machines [15.67299102925013]
共同群同変特徴写像を備えた学習機械に対する構成的普遍近似定理を提案する。
我々の主定理はまた、浅いネットワークと深いネットワークの両方に対する普遍近似定理を統一する。
論文 参考訳（メタデータ） (2024-05-22T14:25:02Z) - GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples
using Gradients and Invariance Transformations [77.34726150561087]
本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。
GITは勾配情報と不変変換の利用を組み合わせる。
本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
論文 参考訳（メタデータ） (2023-07-05T22:04:38Z) - Banana: Banach Fixed-Point Network for Pointcloud Segmentation with
Inter-Part Equivariance [31.875925637190328]
本稿では、構成による部分的等式を持つ同変セグメンテーションのためのバナハ不動点ネットワークであるバナナについて述べる。
我々の重要な洞察は、ポイント・パートの割り当てラベルとパー・パートのSE(3)-等分散が同時に共進化する固定点問題を反復的に解決することである。
我々の定式化は自然に部分間等式を厳密に定義し、部分間配置に一般化する。
論文 参考訳（メタデータ） (2023-05-25T17:59:32Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。
私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。
この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-11-27T07:36:32Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳（メタデータ） (2021-03-05T04:42:32Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z) - Generalizing Convolutional Neural Networks for Equivariance to Lie
Groups on Arbitrary Continuous Data [52.78581260260455]
任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。
同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
論文 参考訳（メタデータ） (2020-02-25T17:40:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。