論文の概要: Provably Strict Generalisation Benefit for Invariance in Kernel Methods

• arxiv url: http://arxiv.org/abs/2106.02346v1
• Date: Fri, 4 Jun 2021 08:55:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 00:55:56.252070
• Title: Provably Strict Generalisation Benefit for Invariance in Kernel Methods
• Title（参考訳）: カーネル法の不変性に対する証明可能な厳密な一般化利益
• Authors: Bryn Elesedy
• Abstract要約: Elesedy と Zaidi arXiv:2102.10333 の函数空間パースペクティブの上に構築し、厳密な非ゼロ一般化の利点を導出する。 一般化は、カーネルと群の間の相互作用から生じる有効次元の概念によって支配される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is a commonly held belief that enforcing invariance improves generalisation. Although this approach enjoys widespread popularity, it is only very recently that a rigorous theoretical demonstration of this benefit has been established. In this work we build on the function space perspective of Elesedy and Zaidi arXiv:2102.10333 to derive a strictly non-zero generalisation benefit of incorporating invariance in kernel ridge regression when the target is invariant to the action of a compact group. We study invariance enforced by feature averaging and find that generalisation is governed by a notion of effective dimension that arises from the interplay between the kernel and the group. In building towards this result, we find that the action of the group induces an orthogonal decomposition of both the reproducing kernel Hilbert space and its kernel, which may be of interest in its own right.
• Abstract（参考訳）: 不変性を強制することは一般化を改善するという一般的な信念である。 このアプローチは広く普及しているが、この利点の厳密な理論的実証が確立されたのはごく最近である。 本研究では,Elesedy と Zaidi arXiv:2102.10333 の関数空間パースペクティブに基づいて,ターゲットがコンパクト群の作用に不変であるとき,カーネルリッジ回帰に不変性を導入するという,厳密な非ゼロ一般化の利点を導出する。 特徴平均化によって強制される不変性について検討し、一般化は、カーネルとグループ間の相互作用から生じる有効次元の概念によって支配されることを示す。 この結果に向けて、群の作用は再生核ヒルベルト空間とその核の両方の直交分解を誘導し、それがそれ自身に興味を持つかもしれないことを見出した。

関連論文リスト

• High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
  本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
  論文  参考訳（メタデータ） (2024-06-05T12:03:27Z)
• Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
  共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。 以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。 副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
  論文  参考訳（メタデータ） (2023-12-26T10:55:20Z)
• Wiener Chaos in Kernel Regression: Towards Untangling Aleatoric and Epistemic Uncertainty [0.0]
  我々はこの設定を一般化し、加法的、すなわち非ガウス計測ノイズによるカーネルリッジ回帰を考える。 GP後部分布に符号化された全不確実性から,データサンプルのノイズから生じる不確かさを識別できることを示す。
  論文  参考訳（メタデータ） (2023-12-12T16:02:35Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
  オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。 穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。 また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2022-02-01T17:46:51Z)
• Revisiting Memory Efficient Kernel Approximation: An Indefinite Learning Perspective [0.8594140167290097]
  マトリックス近似は、大規模機械学習アプローチにおいて重要な要素である。 我々はMEKAをシフト不変カーネルだけでなく、非定常カーネルにも適用できるように拡張する。 我々は、安定な正の半定値MEKA近似を開発するために、スペクトルシフトのランツォスに基づく推定を提案する。
  論文  参考訳（メタデータ） (2021-12-18T10:01:34Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization [53.592597682854944]
  リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。 両課題に対してERMは極小最適であることを示す。
  論文  参考訳（メタデータ） (2021-02-25T19:06:48Z)
• A Wigner-Eckart Theorem for Group Equivariant Convolution Kernels [16.143012623830792]
  群同変畳み込みネットワーク(GCNN)は、追加の対称性を持つ古典的畳み込みネットワークを提供する。 GCNNの理論的記述の最近の進歩により、そのようなモデルは一般にGステアブルカーネルとの畳み込みとして解釈できることが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-21T12:42:23Z)
• Generalized mean shift with triangular kernel profile [5.381004207943597]
  平均シフトアルゴリズムは、特定のカーネルベースの形状をとる確率密度関数のモードを見つけるのに一般的な方法である。 それらに適応した新しい平均シフト多様体が導出可能であることを示し、有限個の反復の後に収束することが証明された。
  論文  参考訳（メタデータ） (2020-01-07T16:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。