論文の概要: Learning Polynomial Problems with $SL(2,\mathbb{R})$ Equivariance
- arxiv url: http://arxiv.org/abs/2312.02146v1
- Date: Mon, 4 Dec 2023 18:59:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 13:54:25.694199
- Title: Learning Polynomial Problems with $SL(2,\mathbb{R})$ Equivariance
- Title（参考訳）: SL(2,\mathbb{R})$ Equivariance を用いた多項式問題学習
- Authors: Hannah Lawrence, Mitchell Tong Harris
- Abstract要約: ニューラルネットワークは、高精度を維持しつつ、10倍のスピードアップを実現し、データ駆動方式で効果的に問題を解決することができることを示す。
これらの学習問題は、領域保存線形変換からなる非コンパクト群 $SL(2,mathbbR)$ に同値である。
- 参考スコア（独自算出の注目度）: 6.5783892500847205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimizing and certifying the positivity of polynomials are fundamental
primitives across mathematics and engineering applications, from dynamical
systems to operations research. However, solving these problems in practice
requires large semidefinite programs, with poor scaling in dimension and
degree. In this work, we demonstrate for the first time that neural networks
can effectively solve such problems in a data-driven fashion, achieving tenfold
speedups while retaining high accuracy. Moreover, we observe that these
polynomial learning problems are equivariant to the non-compact group
$SL(2,\mathbb{R})$, which consists of area-preserving linear transformations.
We therefore adapt our learning pipelines to accommodate this structure,
including data augmentation, a new $SL(2,\mathbb{R})$-equivariant architecture,
and an architecture equivariant with respect to its maximal compact subgroup,
$SO(2, \mathbb{R})$. Surprisingly, the most successful approaches in practice
do not enforce equivariance to the entire group, which we prove arises from an
unusual lack of architecture universality for $SL(2,\mathbb{R})$ in particular.
A consequence of this result, which is of independent interest, is that there
exists an equivariant function for which there is no sequence of equivariant
polynomials multiplied by arbitrary invariants that approximates the original
function. This is a rare example of a symmetric problem where data augmentation
outperforms a fully equivariant architecture, and provides interesting lessons
in both theory and practice for other problems with non-compact symmetries.
- Abstract（参考訳）: 多項式の正の最適化と証明は、力学系から操作研究まで、数学や工学の応用における基本的な原始である。
しかし、これらの問題を実際に解くには、次元や程度が低い大きな半定プログラムが必要である。
本研究では,ニューラルネットワークがデータ駆動方式でこの問題を効果的に解決し,精度を保ちながら10倍の高速化を実現することを初めて実証する。
さらに、これらの多項式学習問題は、領域保存線形変換からなる非コンパクト群 $SL(2,\mathbb{R})$ に同値である。
したがって、データ拡張、新しい$sl(2,\mathbb{r})$同変アーキテクチャ、そしてその最大コンパクト部分群である$so(2, \mathbb{r})$に関するアーキテクチャ等変を含む、この構造に対応するために学習パイプラインを適応させます。
驚くべきことに、実際最も成功したアプローチは群全体の同値性を強制しないが、これは特に$SL(2,\mathbb{R})$に対する特異なアーキテクチャ普遍性の欠如から生じることを証明している。
独立興味を持つこの結果の帰結は、元の函数に近似する任意の不変量によって乗算される同変多項式の列が存在しない同変函数が存在することである。
これは、データ拡張が完全同変アーキテクチャより優れ、非コンパクト対称性の他の問題に対する理論と実践の両方で興味深い教訓を提供する、対称問題の一例である。
関連論文リスト
- Variance Reduced Halpern Iteration for Finite-Sum Monotone Inclusions [18.086061048484616]
平衡問題の幅広いクラスをモデル化した有限サム単調包含問題について検討する。
我々の主な貢献は、複雑性の保証を改善するために分散還元を利用する古典的ハルパーン反復の変種である。
我々は、この複雑さが単調なリプシッツ設定では改善できないと論じる。
論文 参考訳（メタデータ） (2023-10-04T17:24:45Z) - Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and
Group Convolution [90.67482899242093]
近年, 入力の回転と変換において等価な3次元データに対して, ニューラルネットワークを設計するための幅広い手法が提案されている。
両手法とその等価性を詳細に解析し,その2つの構成をマルチビュー畳み込みネットワークに関連付ける。
また、同値原理から新しいTFN非線形性を導出し、実用的なベンチマークデータセット上でテストする。
論文 参考訳（メタデータ） (2022-11-29T03:42:11Z) - Sparse Polynomial Optimization: Theory and Practice [5.27013884159732]
本書は、この課題に重要な科学的意味を持って取り組むためのいくつかの取り組みを提示している。
これは計算複雑性の観点からうまくスケールする代替の最適化スキームを提供する。
制約のない問題や制約のない問題に対して、緩和の疎開的階層を提示する。
論文 参考訳（メタデータ） (2022-08-23T18:56:05Z) - Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。
FAモデルが最大表現力を持つことを示す。
我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
論文 参考訳（メタデータ） (2021-10-07T11:05:23Z) - Bilinear Classes: A Structural Framework for Provable Generalization in
RL [119.42509700822484]
Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。
このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。
我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
論文 参考訳（メタデータ） (2021-03-19T16:34:20Z) - Multiscale regression on unknown manifolds [13.752772802705978]
マルチスケールで$mathcalM$に低次元座標を構築し、ローカルフィッティングによるマルチスケール回帰を行います。
本手法の一般化誤差を,事前のリッチクラス上で高い確率で有限サンプル境界を証明することによって解析する。
私たちのアルゴリズムは、サンプルサイズの準線形複雑性を持ち、定数は$D$で、指数は$d$です。
論文 参考訳（メタデータ） (2021-01-13T15:14:31Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - A conditional one-output likelihood formulation for multitask Gaussian
processes [0.0]
マルチタスクガウス過程(MTGP)は多出力回帰問題に対するガウスプロセスフレームワークの解である。
本稿では,マルチタスク学習を簡略化する新しい手法を提案する。
現状の美術品と計算的に競合していることが示される。
論文 参考訳（メタデータ） (2020-06-05T14:59:06Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-03-30T15:37:50Z) - Revisiting SGD with Increasingly Weighted Averaging: Optimization and
Generalization Perspectives [50.12802772165797]
平均化手法は、全ての反復解を一つの解に結合する。
実験は、他の平均化方式と比較して、トレードオフと平均化の有効性を示した。
論文 参考訳（メタデータ） (2020-03-09T18:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。