論文の概要: Permutation invariant functions: statistical tests, dimension reduction
in metric entropy and estimation
- arxiv url: http://arxiv.org/abs/2403.01671v1
- Date: Mon, 4 Mar 2024 01:49:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 20:14:44.030490
- Title: Permutation invariant functions: statistical tests, dimension reduction
in metric entropy and estimation
- Title(参考訳): 置換不変関数:統計的テスト、計量エントロピーの次元縮小と推定
- Authors: Wee Chaimanowong, Ying Zhu
- Abstract要約: 置換不変性は機械学習(ML)における複雑な問題を単純化するために利用される最も一般的な対称性の1つである。
本稿では,これらの問題について,いくつかの基本的な問題について考察する。
i) と (iv) のメソッドはソートトリックに基づいており、 (ii) は平均化トリックに基づいている。
- 参考スコア(独自算出の注目度): 1.6912763514570508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Permutation invariance is among the most common symmetry that can be
exploited to simplify complex problems in machine learning (ML). There has been
a tremendous surge of research activities in building permutation invariant ML
architectures. However, less attention is given to how to statistically test
for permutation invariance of variables in a multivariate probability
distribution where the dimension is allowed to grow with the sample size. Also,
in terms of a statistical theory, little is known about how permutation
invariance helps with estimation in reducing dimensions. In this paper, we take
a step back and examine these questions in several fundamental problems: (i)
testing the assumption of permutation invariance of multivariate distributions;
(ii) estimating permutation invariant densities; (iii) analyzing the metric
entropy of smooth permutation invariant function classes and compare them with
their counterparts without imposing permutation invariance; (iv) kernel ridge
regression of permutation invariant functions in reproducing kernel Hilbert
space. In particular, our methods for (i) and (iv) are based on a sorting trick
and (ii) is based on an averaging trick. These tricks substantially simplify
the exploitation of permutation invariance.
- Abstract(参考訳): 置換不変性は機械学習(ML)における複雑な問題を単純化するために利用される最も一般的な対称性の一つである。
置換不変MLアーキテクチャの構築には、膨大な研究活動が急増している。
しかし,多変量確率分布における変数の変分不変性を統計的にテストする方法については,サンプルサイズで寸法が成長することが許されるため,それほど注目されない。
また、統計理論の観点では、置換不変性が次元の減少にどのように役立つかはほとんど分かっていない。
本稿では,これらの疑問を,いくつかの基本的な問題から考察する。
(i)多変量分布の置換不変性の仮定を検証すること。
(ii) 置換不変密度の推定
三 滑らかな置換不変関数クラスの計量エントロピーを解析し、置換不変性を含まないものと比較すること。
(iv)再生成核ヒルベルト空間における置換不変関数の核リッジ回帰
特に私たちの方法は
(i)および
(iv)仕分けトリックに基づいており
(ii)平均化トリックに基づいている。
これらのトリックは置換不変性の利用を大幅に単純化する。
関連論文リスト
- Winning Prize Comes from Losing Tickets: Improve Invariant Learning by
Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。
LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。
Invariant Learning (EVIL) における変数探索手法を提案する。
論文 参考訳(メタデータ) (2023-10-25T06:10:57Z) - Geometry of Linear Neural Networks: Equivariance and Invariance under
Permutation Groups [0.0]
置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。
パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
論文 参考訳(メタデータ) (2023-09-24T19:40:15Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-02T20:44:45Z) - Equivariant Disentangled Transformation for Domain Generalization under
Combination Shift [91.38796390449504]
ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。
我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
論文 参考訳(メタデータ) (2022-08-03T12:31:31Z) - Sequential Permutation Testing of Random Forest Variable Importance
Measures [68.8204255655161]
そこで本研究では、逐次置換テストと逐次p値推定を用いて、従来の置換テストに関連する高い計算コストを削減することを提案する。
シミュレーション研究の結果、シーケンシャルテストの理論的性質が当てはまることを確認した。
本手法の数値安定性を2つの応用研究で検討した。
論文 参考訳(メタデータ) (2022-06-02T20:16:50Z) - Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。
CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
論文 参考訳(メタデータ) (2022-04-14T18:08:36Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - Variance Minimization in the Wasserstein Space for Invariant Causal
Prediction [72.13445677280792]
そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。
これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。
我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
論文 参考訳(メタデータ) (2021-10-13T22:30:47Z) - Regularizing Towards Permutation Invariance in Recurrent Models [26.36835670113303]
我々は、RNNが置換不変性に対して規則化可能であることを示し、その結果、コンパクトモデルが得られることを示した。
既存のソリューションは、主に、設計によって不変な置換性を持つ仮説クラスに学習問題を限定することを提案している。
提案手法は,合成および実世界のデータセットにおける他の置換不変手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-10-25T07:46:51Z) - Permutation Inference for Canonical Correlation Analysis [0.7646713951724012]
正準相関に対する簡易な置換試験は, 誤差率の増大につながることを示す。
しかし、ニュアンス変数が存在しない場合、CCAの単純な置換テストは、最初の正準相関以外のすべての正準相関に対して過剰な誤差率をもたらす。
ここでは、残余が交換可能性を持つ低次元基底に変換されることが、有効な置換テストの結果であることを示す。
論文 参考訳(メタデータ) (2020-02-24T02:47:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。