論文の概要: The Exact Sample Complexity Gain from Invariances for Kernel Regression on Manifolds

• arxiv url: http://arxiv.org/abs/2303.14269v1
• Date: Fri, 24 Mar 2023 20:47:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 20:56:12.745055
• Title: The Exact Sample Complexity Gain from Invariances for Kernel Regression on Manifolds
• Title（参考訳）: マニフォールド上のカーネル回帰の不変性から得られる特異なサンプル複雑度
• Authors: Behrooz Tahmasebi, Stefanie Jegelka
• Abstract要約: 任意の多様体上でカーネルリッジ回帰に対する最小値の最適値を提供する。 有限群の場合、利得は群のサイズによって「有効」なサンプル数を増やす。
• 参考スコア（独自算出の注目度）: 46.559827851819236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In practice, encoding invariances into models helps sample complexity. In this work, we tighten and generalize theoretical results on how invariances improve sample complexity. In particular, we provide minimax optimal rates for kernel ridge regression on any manifold, with a target function that is invariant to an arbitrary group action on the manifold. Our results hold for (almost) any group action, even groups of positive dimension. For a finite group, the gain increases the "effective" number of samples by the group size. For groups of positive dimension, the gain is observed by a reduction in the manifold's dimension, in addition to a factor proportional to the volume of the quotient space. Our proof takes the viewpoint of differential geometry, in contrast to the more common strategy of using invariant polynomials. Hence, this new geometric viewpoint on learning with invariances may be of independent interest.
• Abstract（参考訳）: 実際、モデルへの不変性のエンコーディングは、サンプルの複雑さに役立つ。 本研究では,不変性がサンプル複雑性をいかに改善するかに関する理論的結果を整理し,一般化する。 特に、任意の多様体上の任意の群作用に不変な対象関数を持つ任意の多様体上のカーネルリッジ回帰に対するミニマックス最適レートを提供する。 我々の結果は(ほとんど)任意の群作用、あるいは正次元の群に対して成り立つ。 有限群の場合、利得は群の大きさによってサンプルの「有効」数を増加させる。 正の次元の群について、ゲインは商空間の体積に比例する因子に加えて多様体の次元の減少によって観測される。 我々の証明は、不変多項式を使用するより一般的な戦略とは対照的に、微分幾何学の観点を取る。 したがって、不変性を持つ学習に関するこの新しい幾何学的視点は独立した関心を持つかもしれない。

関連論文リスト

• Global optimality under amenable symmetry constraints [0.5656581242851759]
  凸性、群、および典型的には無限次元のベクトル空間の間の相互作用を示す。 このツールキットを不変最適性問題に適用する。 これは、不変カーネルの平均埋め込みとリスク-最適不変結合に関する新しい結果をもたらす。
  論文  参考訳（メタデータ） (2024-02-12T12:38:20Z)
• Sample Complexity Bounds for Estimating Probability Divergences under Invariances [31.946304450935628]
  群不変確率分布は、機械学習において多くのデータ生成モデルに現れる。 本研究では, 多様体上のリー群の滑らかな作用に関して, 固有の不変性が, サンプルの複雑性をいかに改善するかを考察する。 結果は正次元の群にとって全く新しいものであり、有限群作用に対する最近の境界を拡張する。
  論文  参考訳（メタデータ） (2023-11-06T04:45:21Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
  コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。 我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
  論文  参考訳（メタデータ） (2023-10-17T16:04:33Z)
• Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
  回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。 我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
  論文  参考訳（メタデータ） (2023-10-12T10:56:25Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• On the Sample Complexity of Learning with Geometric Stability [42.813141600050166]
  対象関数がそのような不変性や安定性を示す学習問題のサンプル複雑性について検討する。 カーネル法における非パラメトリック収束率と,グループの大きさに等しい因子によるサンプル複雑性の改善について述べる。
  論文  参考訳（メタデータ） (2021-06-14T03:51:16Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Disentangling by Subspace Diffusion [72.1895236605335]
  データ多様体の完全教師なし分解は、多様体の真の計量が知られている場合、可能であることを示す。 我々の研究は、教師なしメートル法学習が可能であるかどうかという問題を減らし、表現学習の幾何学的性質に関する統一的な洞察を提供する。
  論文  参考訳（メタデータ） (2020-06-23T13:33:19Z)
• Sample complexity and effective dimension for regression on manifolds [13.774258153124205]
  ヒルベルト空間法を再現したカーネルを用いた多様体上の回帰理論を考える。 多様体上の滑らかな函数のある空間は、多様体次元に応じて拡大する複雑性を持つ実効有限次元であることが示される。
  論文  参考訳（メタデータ） (2020-06-13T14:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。