論文の概要: Invariant Kernels: Rank Stabilization and Generalization Across Dimensions
- arxiv url: http://arxiv.org/abs/2502.01886v1
- Date: Mon, 03 Feb 2025 23:37:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 14:58:22.085893
- Title: Invariant Kernels: Rank Stabilization and Generalization Across Dimensions
- Title（参考訳）: 不変カーネル:ランク安定化と全次元の一般化
- Authors: Mateo Díaz, Dmitriy Drusvyatskiy, Jack Kendrick, Rekha R. Thomas,
- Abstract要約: 対称性がカーネル行列のランクに顕著な影響を与えることを示す。
具体的には、その2つの引数に対して独立に作用する様々な群の下で不変な固定次数の核のランクを計算する。
上記の3つの例を含む具体的状況において、対称性はデータ次元から独立させるランクを劇的に減少させる。
- 参考スコア（独自算出の注目度）: 7.154556482351604
- License:
- Abstract: Symmetry arises often when learning from high dimensional data. For example, data sets consisting of point clouds, graphs, and unordered sets appear routinely in contemporary applications, and exhibit rich underlying symmetries. Understanding the benefits of symmetry on the statistical and numerical efficiency of learning algorithms is an active area of research. In this work, we show that symmetry has a pronounced impact on the rank of kernel matrices. Specifically, we compute the rank of a polynomial kernel of fixed degree that is invariant under various groups acting independently on its two arguments. In concrete circumstances, including the three aforementioned examples, symmetry dramatically decreases the rank making it independent of the data dimension. In such settings, we show that a simple regression procedure is minimax optimal for estimating an invariant polynomial from finitely many samples drawn across different dimensions. We complete the paper with numerical experiments that illustrate our findings.
- Abstract（参考訳）: 対称性は高次元データから学ぶときにしばしば現れる。
例えば、点雲、グラフ、および非順序集合からなるデータセットは、現代の応用において日常的に現れ、豊富な基礎対称性を示す。
学習アルゴリズムの統計的および数値的効率に対する対称性の利点を理解することは、研究の活発な領域である。
本研究では, 対称性がカーネル行列のランクに顕著な影響を与えることを示す。
具体的には、その2つの引数に対して独立に作用する様々な群の下で不変である固定次数多項式核のランクを計算する。
上記の3つの例を含む具体的状況において、対称性はデータ次元から独立させるランクを劇的に減少させる。
このような設定では、異なる次元にまたがる有限個のサンプルから不変多項式を推定するために、単純な回帰手順が最小限最適であることを示す。
本論文は,本研究の成果を示す数値実験で完結する。
関連論文リスト
- Information-Theoretic Guarantees for Recovering Low-Rank Tensors from Symmetric Rank-One Measurements [0.0]
対称階数1の測定値から低対称階数テンソルを回収する際のサンプル複雑性について検討した。
ファノの不等式に基づくサンプル複雑性を提供し、2層ネットワークにおける結果に対するより広範な影響について論じる。
論文 参考訳（メタデータ） (2025-02-07T18:12:32Z) - Learning Infinitesimal Generators of Continuous Symmetries from Data [15.42275880523356]
1-パラメータ群で定義された変換に基づく新しい対称性学習アルゴリズムを提案する。
この手法は最小限の帰納バイアスに基づいて構築され、リー群に根付いた一般的な対称性だけでなく、非線形発生器由来の対称性にまで拡張される。
論文 参考訳（メタデータ） (2024-10-29T08:28:23Z) - SymmetryLens: A new candidate paradigm for unsupervised symmetry learning via locality and equivariance [0.0]
我々は、生データから始まる新しい教師なし対称性学習法を開発した。
この対称性と局所性の結合は,エントロピー推定のために開発された特別な最適化手法とともに,高度に安定なシステムをもたらすことを実証する。
私たちが考える対称性の作用は群表現であるが、このアプローチは非可換リー群のより一般的な非線形作用に一般化される可能性があると信じている。
論文 参考訳（メタデータ） (2024-10-07T17:40:51Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - Learning Linear Symmetries in Data Using Moment Matching [0.0]
データから直接、そのような対称性を学習する、教師なし、半教師なしの問題を考察する。
最悪の場合、この問題はグラフ自己同型問題と同じくらい難しい。
対称変換において固有ベクトルが固有値 -1 を持つべきものを選択する様々な方法の有効性を理論的および実証的に開発・比較する。
論文 参考訳（メタデータ） (2022-04-04T02:47:37Z) - Test Set Sizing Via Random Matrix Theory [91.3755431537592]
本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。
それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。
本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
論文 参考訳（メタデータ） (2021-12-11T13:18:33Z) - Probing symmetries of quantum many-body systems through gap ratio
statistics [0.0]
我々は、ギャップ比分布 P(r) の研究を離散対称性が存在する場合に拡張する。
我々は、量子時計モデルや正準鎖から周期駆動スピンシステムまで、多体物理学の幅広い応用について述べる。
論文 参考訳（メタデータ） (2020-08-25T17:11:40Z) - Interpolation and Learning with Scale Dependent Kernels [91.41836461193488]
非パラメトリックリッジレス最小二乗の学習特性について検討する。
スケール依存カーネルで定義される推定器の一般的な場合を考える。
論文 参考訳（メタデータ） (2020-06-17T16:43:37Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z) - Inverse Learning of Symmetries [71.62109774068064]
2つの潜在部分空間からなるモデルで対称性変換を学ぶ。
我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。
我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
論文 参考訳（メタデータ） (2020-02-07T13:48:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。