論文の概要: The Exact Sample Complexity Gain from Invariances for Kernel Regression
- arxiv url: http://arxiv.org/abs/2303.14269v2
- Date: Mon, 6 Nov 2023 05:07:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 23:21:12.772087
- Title: The Exact Sample Complexity Gain from Invariances for Kernel Regression
- Title（参考訳）: カーネル回帰の不変性から得られる特異なサンプル複雑度
- Authors: Behrooz Tahmasebi, Stefanie Jegelka
- Abstract要約: 実際には、モデルの不変性を符号化することで、サンプルの複雑さが向上する。
コンパクト多様体上でのカーネルリッジ回帰に対する最小値の最適値を与える。
我々の結果は任意の滑らかなコンパクトリー群作用、あるいは正次元の群に対しても成り立つ。
- 参考スコア（独自算出の注目度）: 37.74032673086741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In practice, encoding invariances into models improves sample complexity. In
this work, we study this phenomenon from a theoretical perspective. In
particular, we provide minimax optimal rates for kernel ridge regression on
compact manifolds, with a target function that is invariant to a group action
on the manifold. Our results hold for any smooth compact Lie group action, even
groups of positive dimension. For a finite group, the gain effectively
multiplies the number of samples by the group size. For groups of positive
dimension, the gain is observed by a reduction in the manifold's dimension, in
addition to a factor proportional to the volume of the quotient space. Our
proof takes the viewpoint of differential geometry, in contrast to the more
common strategy of using invariant polynomials. This new geometric viewpoint on
learning with invariances may be of independent interest.
- Abstract（参考訳）: 実際、モデルへの不変性エンコーディングはサンプルの複雑さを改善する。
本研究では,この現象を理論的観点から研究する。
特に、多様体上の群作用に不変な対象関数を持つコンパクト多様体上のカーネルリッジ回帰に対するミニマックス最適レートを提供する。
我々の結果は任意の滑らかなコンパクトリー群作用、あるいは正次元の群に対しても成り立つ。
有限群の場合、利得は群のサイズによって標本の数を効果的に乗算する。
正の次元の群について、ゲインは商空間の体積に比例する因子に加えて多様体の次元の減少によって観測される。
我々の証明は、不変多項式を使用するより一般的な戦略とは対照的に、微分幾何学の観点を取る。
不変性を持つ学習に関するこの新しい幾何学的視点は、独立した関心を持つかもしれない。
関連論文リスト
- Global optimality under amenable symmetry constraints [0.5656581242851759]
凸性、群、および典型的には無限次元のベクトル空間の間の相互作用を示す。
このツールキットを不変最適性問題に適用する。
これは、不変カーネルの平均埋め込みとリスク-最適不変結合に関する新しい結果をもたらす。
論文 参考訳（メタデータ） (2024-02-12T12:38:20Z) - Sample Complexity Bounds for Estimating Probability Divergences under Invariances [31.946304450935628]
群不変確率分布は、機械学習において多くのデータ生成モデルに現れる。
本研究では, 多様体上のリー群の滑らかな作用に関して, 固有の不変性が, サンプルの複雑性をいかに改善するかを考察する。
結果は正次元の群にとって全く新しいものであり、有限群作用に対する最近の境界を拡張する。
論文 参考訳（メタデータ） (2023-11-06T04:45:21Z) - Scaling Riemannian Diffusion Models [68.52820280448991]
非自明な多様体上の高次元タスクにスケールできることを示す。
我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
論文 参考訳（メタデータ） (2023-10-30T21:27:53Z) - Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。
我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
論文 参考訳（メタデータ） (2023-10-17T16:04:33Z) - Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。
我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
論文 参考訳（メタデータ） (2023-10-12T10:56:25Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳（メタデータ） (2023-07-11T16:51:38Z) - On the Sample Complexity of Learning with Geometric Stability [42.813141600050166]
対象関数がそのような不変性や安定性を示す学習問題のサンプル複雑性について検討する。
カーネル法における非パラメトリック収束率と,グループの大きさに等しい因子によるサンプル複雑性の改善について述べる。
論文 参考訳（メタデータ） (2021-06-14T03:51:16Z) - LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。
我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。
任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文 参考訳（メタデータ） (2020-12-20T11:02:49Z) - Disentangling by Subspace Diffusion [72.1895236605335]
データ多様体の完全教師なし分解は、多様体の真の計量が知られている場合、可能であることを示す。
我々の研究は、教師なしメートル法学習が可能であるかどうかという問題を減らし、表現学習の幾何学的性質に関する統一的な洞察を提供する。
論文 参考訳（メタデータ） (2020-06-23T13:33:19Z) - Sample complexity and effective dimension for regression on manifolds [13.774258153124205]
ヒルベルト空間法を再現したカーネルを用いた多様体上の回帰理論を考える。
多様体上の滑らかな函数のある空間は、多様体次元に応じて拡大する複雑性を持つ実効有限次元であることが示される。
論文 参考訳（メタデータ） (2020-06-13T14:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。