論文の概要: Permutation invariant functions: statistical tests, density estimation, and computationally efficient embedding
- arxiv url: http://arxiv.org/abs/2403.01671v2
- Date: Wed, 8 May 2024 09:12:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-05-09 16:34:07.212370
- Title: Permutation invariant functions: statistical tests, density estimation, and computationally efficient embedding
- Title（参考訳）: 置換不変関数:統計的テスト、密度推定、および計算効率の良い埋め込み
- Authors: Wee Chaimanowong, Ying Zhu,
- Abstract要約: 置換不変性は機械学習(ML)における複雑な問題を単純化するために利用される最も一般的な対称性の1つである。
本稿では,これらの問題について,いくつかの基本的な問題について考察する。
i) と (iv) のメソッドはソートトリックに基づいており、 (ii) は平均化トリックに基づいている。
- 参考スコア（独自算出の注目度）: 1.4316259003164373
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Permutation invariance is among the most common symmetry that can be exploited to simplify complex problems in machine learning (ML). There has been a tremendous surge of research activities in building permutation invariant ML architectures. However, less attention is given to: (1) how to statistically test for permutation invariance of coordinates in a random vector where the dimension is allowed to grow with the sample size; (2) how to leverage permutation invariance in estimation problems and how does it help reduce dimensions. In this paper, we take a step back and examine these questions in several fundamental problems: (i) testing the assumption of permutation invariance of multivariate distributions; (ii) estimating permutation invariant densities; (iii) analyzing the metric entropy of permutation invariant function classes and compare them with their counterparts without imposing permutation invariance; (iv) deriving an embedding of permutation invariant reproducing kernel Hilbert spaces for efficient computation. In particular, our methods for (i) and (iv) are based on a sorting trick and (ii) is based on an averaging trick. These tricks substantially simplify the exploitation of permutation invariance.
- Abstract（参考訳）: 置換不変性は機械学習(ML)における複雑な問題を単純化するために利用される最も一般的な対称性の一つである。
置換不変MLアーキテクチャの構築には、膨大な研究活動が急増している。
しかし、(1) 次元が標本サイズで増大するランダムベクトルにおける座標の置換不変性の統計的テスト方法、(2) 推定問題における置換不変性の活用方法、および、それが寸法の減少にどのように役立つかは、あまり注目されない。
本稿では,これらの疑問を,いくつかの基本的な問題から考察する。
一 多変量分布の変分不変性の仮定をテストすること。
二 変分不変密度の推定
三 置換不変関数クラスの計量エントロピーを分析して、置換不変性を含まないものと比較すること。
(iv) 効率的な計算のために、置換不変な再生カーネルヒルベルト空間の埋め込みを導出する。
特に我々の方法
(i)および
(四)仕分けの仕方に基づくもの
(ii)は平均的なトリックに基づいている。
これらのトリックは置換不変性の利用を大幅に単純化する。
関連論文リスト
- Number of Clusters in a Dataset: A Regularized K-means Approach [0.6445605125467572]
正規化k平均アルゴリズムは、データセット内の異なるクラスタの正しい数を見つけるために使用される。
本稿では,クラスタが理想的であると仮定して,$lambda$の厳密な境界を導出する。
実験により、加法正則化器を用いたk平均アルゴリズムは、しばしば複数の解が得られることが示された。
論文 参考訳（メタデータ） (2025-05-29T01:58:44Z) - A Canonicalization Perspective on Invariant and Equivariant Learning [54.44572887716977]
フレームの設計について,本質的で完全な視点を提供する正準化の視点を導入する。
フレームと標準形式の間には固有の関係があることが示される。
既存の手法よりも厳密な固有ベクトルのための新しいフレームを設計する。
論文 参考訳（メタデータ） (2024-05-28T17:22:15Z) - Ito Diffusion Approximation of Universal Ito Chains for Sampling, Optimization and Boosting [64.0722630873758]
我々は、ある微分方程式のオイラー・マルヤマ離散化のように見える、より一般で幅広いマルコフ連鎖、伊藤鎖を考える。
伊藤鎖の法則と微分方程式の間の$W_2$-距離の有界性を証明する。
論文 参考訳（メタデータ） (2023-10-09T18:38:56Z) - Geometry of Linear Neural Networks: Equivariance and Invariance under
Permutation Groups [0.0]
置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。
パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
論文 参考訳（メタデータ） (2023-09-24T19:40:15Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-03-02T20:44:45Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - Generalization Bounds for Stochastic Gradient Descent via Localized
$\varepsilon$-Covers [16.618918548497223]
本稿では,SGDの軌道に局在する新しい被覆手法を提案する。
このローカライゼーションは、境界数によって測定されるアルゴリズム固有のクラスタリングを提供する。
これらの結果は様々な文脈で導き出され、既知の最先端のラベルレートが向上する。
論文 参考訳（メタデータ） (2022-09-19T12:11:07Z) - On Fitness Landscape Analysis of Permutation Problems: From Distance
Metrics to Mutation Operator Selection [0.0]
この理論を探求し、順列空間上の最適化問題に対するフィットネスランドスケープ解析の実践を拡大する。
まず、置換のための利用可能な距離メトリクスを調査し、次に主成分分析を使用してこれらのメトリクスを分類する。
置換メトリクス、置換突然変異演算子、および関連する進化的アルゴリズムの実装は、オープンソースのJavaライブラリの2つで利用可能です。
論文 参考訳（メタデータ） (2022-08-23T20:46:49Z) - Equivariant Disentangled Transformation for Domain Generalization under
Combination Shift [91.38796390449504]
ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。
我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
論文 参考訳（メタデータ） (2022-08-03T12:31:31Z) - Multi-block-Single-probe Variance Reduced Estimator for Coupled
Compositional Optimization [49.58290066287418]
構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。
本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
論文 参考訳（メタデータ） (2022-07-18T12:03:26Z) - Majorization-minimization for Sparse Nonnegative Matrix Factorization
with the $\eta$-divergence [2.3787352248749376]
他の因子(辞書行列)のノルムは不正な定式化を避けるために制御する必要があることはよく知られている。
標準のプラクティスは、辞書の列に単位ノルムを持つよう制約することであり、これは非自明な最適化問題につながる。
我々は,$ell_1$-regularization あるいはより "攻撃的" なログ規則化に対して,単純な乗法的更新をもたらすブロック・ディフレッシブ・プライマリゼーション・最小化アルゴリズムを導出する。
論文 参考訳（メタデータ） (2022-07-13T16:09:29Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - E-detectors: a nonparametric framework for sequential change detection [86.15115654324488]
逐次的変化検出のための基本的かつ汎用的なフレームワークを開発する。
私たちの手順は、平均走行距離のクリーンで無症状な境界が伴います。
統計的および計算効率の両方を達成するために,これらの混合物を設計する方法を示す。
論文 参考訳（メタデータ） (2022-03-07T17:25:02Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳（メタデータ） (2022-02-08T16:16:11Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-30T19:17:35Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Nonparametric approximation of conditional expectation operators [0.3655021726150368]
最小の仮定の下で、$[Pf](x) := mathbbE[f(Y) mid X = x ]$ で定義される$L2$-operatorの近似について検討する。
我々は、再生されたカーネル空間上で作用するヒルベルト・シュミット作用素により、作用素ノルムにおいて$P$が任意に適切に近似できることを証明した。
論文 参考訳（メタデータ） (2020-12-23T19:06:12Z) - Stochastic optimization with momentum: convergence, fluctuations, and
traps avoidance [0.0]
本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。
この回避は、非自明な常微分方程式のノイズ離散化として研究される。
論文 参考訳（メタデータ） (2020-12-07T19:14:49Z) - Regularizing Towards Permutation Invariance in Recurrent Models [26.36835670113303]
我々は、RNNが置換不変性に対して規則化可能であることを示し、その結果、コンパクトモデルが得られることを示した。
既存のソリューションは、主に、設計によって不変な置換性を持つ仮説クラスに学習問題を限定することを提案している。
提案手法は,合成および実世界のデータセットにおける他の置換不変手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-10-25T07:46:51Z) - Permutation Inference for Canonical Correlation Analysis [0.7646713951724012]
正準相関に対する簡易な置換試験は, 誤差率の増大につながることを示す。
しかし、ニュアンス変数が存在しない場合、CCAの単純な置換テストは、最初の正準相関以外のすべての正準相関に対して過剰な誤差率をもたらす。
ここでは、残余が交換可能性を持つ低次元基底に変換されることが、有効な置換テストの結果であることを示す。
論文 参考訳（メタデータ） (2020-02-24T02:47:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。