論文の概要: The Selective G-Bispectrum and its Inversion: Applications to G-Invariant Networks
- arxiv url: http://arxiv.org/abs/2407.07655v2
- Date: Wed, 6 Nov 2024 13:46:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 22:40:08.324444
- Title: The Selective G-Bispectrum and its Inversion: Applications to G-Invariant Networks
- Title（参考訳）: 選択的G-双スペクトルとその逆変換:G-不変ネットワークへの応用
- Authors: Simon Mataigne, Johan Mathe, Sophia Sanborn, Christopher Hillar, Nina Miolane,
- Abstract要約: 我々は,$G$-Bispectrumをテキスト選択型$G$-Bispectrumに還元できることを示す。
ニューラルネットワークへの統合によって、従来のアプローチと比較して精度と堅牢性が向上することを示す。
- 参考スコア（独自算出の注目度）: 3.8311785959108637
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An important problem in signal processing and deep learning is to achieve \textit{invariance} to nuisance factors not relevant for the task. Since many of these factors are describable as the action of a group $G$ (e.g. rotations, translations, scalings), we want methods to be $G$-invariant. The $G$-Bispectrum extracts every characteristic of a given signal up to group action: for example, the shape of an object in an image, but not its orientation. Consequently, the $G$-Bispectrum has been incorporated into deep neural network architectures as a computational primitive for $G$-invariance\textemdash akin to a pooling mechanism, but with greater selectivity and robustness. However, the computational cost of the $G$-Bispectrum ($\mathcal{O}(|G|^2)$, with $|G|$ the size of the group) has limited its widespread adoption. Here, we show that the $G$-Bispectrum computation contains redundancies that can be reduced into a \textit{selective $G$-Bispectrum} with $\mathcal{O}(|G|)$ complexity. We prove desirable mathematical properties of the selective $G$-Bispectrum and demonstrate how its integration in neural networks enhances accuracy and robustness compared to traditional approaches, while enjoying considerable speeds-up compared to the full $G$-Bispectrum.
- Abstract（参考訳）: 信号処理と深層学習において重要な問題は、タスクに関係のないニュアンス要因に対して「textit{invariance}」を達成することである。
これらの因子の多くは群$G$(例えば回転、変換、スケーリング)の作用として記述できるので、メソッドは$G$不変であることが望まれる。
G$-Bispectrumは、与えられた信号のすべての特性をグループアクションまで抽出する。
その結果、$G$-Bispectrumは、プール機構に似た$G$-invariance\textemdashの計算プリミティブとしてディープニューラルネットワークアーキテクチャに組み込まれている。
しかしながら、$G$-Bispectrum ($\mathcal{O}(|G|^2)$, with $|G|$ の計算コストは広く採用されている。
ここでは、$G$-Bispectrum計算は、$\mathcal{O}(|G|)$ complexity で \textit{selective $G$-Bispectrum} に還元できる冗長性を含むことを示す。
我々は、選択的な$G$-Bispectrumの数学的特性を証明し、ニューラルネットワークへの統合が従来のアプローチと比較して精度と堅牢性を向上し、フルの$G$-Bispectrumと比較してかなりのスピードアップを享受することを示した。
関連論文リスト
- A General Framework for Robust G-Invariance in G-Equivariant Networks [5.227502964814928]
群同変畳み込みニューラルネットワーク(G$-CNN)におけるロバストなグループ不変性を実現するための一般的な方法を提案する。
三重相関の完全性は、強い強靭性を持つ$G$-TC層を与える。
この手法の利点を可換群と非可換群の両方に示す。
論文 参考訳（メタデータ） (2023-10-28T02:27:34Z) - Universality of max-margin classifiers [10.797131009370219]
非ガウス的特徴に対する誤分類誤差の高次元普遍性と大域化写像の役割について検討する。
特に、オーバーパラメトリゼーションしきい値と一般化誤差はより単純なモデルで計算できる。
論文 参考訳（メタデータ） (2023-09-29T22:45:56Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Efficiently Learning One-Hidden-Layer ReLU Networks via Schur
Polynomials [50.90125395570797]
正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。
本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
論文 参考訳（メタデータ） (2023-07-24T14:37:22Z) - Detection-Recovery Gap for Planted Dense Cycles [72.4451045270967]
期待帯域幅$n tau$とエッジ密度$p$をエルドホス=R'enyiグラフ$G(n,q)$に植え込むモデルを考える。
低次アルゴリズムのクラスにおいて、関連する検出および回復問題に対する計算しきい値を特徴付ける。
論文 参考訳（メタデータ） (2023-02-13T22:51:07Z) - On the Sample Complexity of Representation Learning in Multi-task
Bandits with Global and Local structure [77.60508571062958]
マルチタスク・バンディット問題に対する最適アーム学習の複雑さについて検討した。
アームは2つのコンポーネントで構成されます。1つはタスク間で共有され(表現と呼ばれます)、もう1つはタスク固有のもの(予測器と呼ばれます)です。
サンプルの複雑さが下界に近づき、最大で$H(Glog(delta_G)+ Xlog(delta_H))$でスケールするアルゴリズムOSRL-SCを考案する。
論文 参考訳（メタデータ） (2022-11-28T08:40:12Z) - A Classification of $G$-invariant Shallow Neural Networks [1.4213973379473654]
我々は、ReLUアクティベーションを伴う全ての$G$不変シングルハイデン層または"シャロー"ニューラルネットワーク(G$-SNN)アーキテクチャの分類を与える定理を証明した。
いくつかの例群に対して$G$-SNNアーキテクチャを列挙し、それらの構造を視覚化する。
論文 参考訳（メタデータ） (2022-05-18T21:18:16Z) - Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。
我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
論文 参考訳（メタデータ） (2022-03-18T18:50:52Z) - Robust Model Selection and Nearly-Proper Learning for GMMs [26.388358539260473]
学習理論では、データは有限混合モデルから生成されるという標準的な仮定がある。しかし、コンポーネントの数が事前に分かっていないときに何が起こるのか。
対数係数内の分布に適合するために必要な最小コンポーネント数を、およそ決定することができる。
論文 参考訳（メタデータ） (2021-06-05T01:58:40Z) - Homogeneous vector bundles and $G$-equivariant convolutional neural
networks [0.0]
G$-equivariant convolutional Neural Network (GCNN) は、均一な$G$-space $mathcalM$で定義されたデータの幾何学的深層学習モデルである。
本稿では、一モジュラーリー群 $G$ およびコンパクト部分群 $K leq G$ の場合、同次空間 $mathcalM = G/K$ 上の GCNN を解析する。
論文 参考訳（メタデータ） (2021-05-12T02:06:04Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳（メタデータ） (2020-09-21T02:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。