論文の概要: Permutation invariant functions: statistical tests, dimension reduction in metric entropy and estimation

• arxiv url: http://arxiv.org/abs/2403.01671v1
• Date: Mon, 4 Mar 2024 01:49:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 20:14:44.030490
• Title: Permutation invariant functions: statistical tests, dimension reduction in metric entropy and estimation
• Title（参考訳）: 置換不変関数:統計的テスト、計量エントロピーの次元縮小と推定
• Authors: Wee Chaimanowong, Ying Zhu
• Abstract要約: 置換不変性は機械学習(ML)における複雑な問題を単純化するために利用される最も一般的な対称性の1つである。 本稿では,これらの問題について,いくつかの基本的な問題について考察する。 i) と (iv) のメソッドはソートトリックに基づいており、 (ii) は平均化トリックに基づいている。
• 参考スコア（独自算出の注目度）: 1.6912763514570508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Permutation invariance is among the most common symmetry that can be exploited to simplify complex problems in machine learning (ML). There has been a tremendous surge of research activities in building permutation invariant ML architectures. However, less attention is given to how to statistically test for permutation invariance of variables in a multivariate probability distribution where the dimension is allowed to grow with the sample size. Also, in terms of a statistical theory, little is known about how permutation invariance helps with estimation in reducing dimensions. In this paper, we take a step back and examine these questions in several fundamental problems: (i) testing the assumption of permutation invariance of multivariate distributions; (ii) estimating permutation invariant densities; (iii) analyzing the metric entropy of smooth permutation invariant function classes and compare them with their counterparts without imposing permutation invariance; (iv) kernel ridge regression of permutation invariant functions in reproducing kernel Hilbert space. In particular, our methods for (i) and (iv) are based on a sorting trick and (ii) is based on an averaging trick. These tricks substantially simplify the exploitation of permutation invariance.
• Abstract（参考訳）: 置換不変性は機械学習(ML)における複雑な問題を単純化するために利用される最も一般的な対称性の一つである。 置換不変MLアーキテクチャの構築には、膨大な研究活動が急増している。 しかし,多変量確率分布における変数の変分不変性を統計的にテストする方法については,サンプルサイズで寸法が成長することが許されるため,それほど注目されない。 また、統計理論の観点では、置換不変性が次元の減少にどのように役立つかはほとんど分かっていない。 本稿では,これらの疑問を,いくつかの基本的な問題から考察する。 (i)多変量分布の置換不変性の仮定を検証すること。 (ii) 置換不変密度の推定 三 滑らかな置換不変関数クラスの計量エントロピーを解析し、置換不変性を含まないものと比較すること。 (iv)再生成核ヒルベルト空間における置換不変関数の核リッジ回帰 特に私たちの方法は (i)および (iv)仕分けトリックに基づいており (ii)平均化トリックに基づいている。 これらのトリックは置換不変性の利用を大幅に単純化する。

関連論文リスト

• Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups [0.0]
  置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。 パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
  論文  参考訳（メタデータ） (2023-09-24T19:40:15Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• On Fitness Landscape Analysis of Permutation Problems: From Distance Metrics to Mutation Operator Selection [0.0]
  この理論を探求し、順列空間上の最適化問題に対するフィットネスランドスケープ解析の実践を拡大する。 まず、置換のための利用可能な距離メトリクスを調査し、次に主成分分析を使用してこれらのメトリクスを分類する。 置換メトリクス、置換突然変異演算子、および関連する進化的アルゴリズムの実装は、オープンソースのJavaライブラリの2つで利用可能です。
  論文  参考訳（メタデータ） (2022-08-23T20:46:49Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization [49.58290066287418]
  構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。 本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
  論文  参考訳（メタデータ） (2022-07-18T12:03:26Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• E-detectors: a nonparametric framework for sequential change detection [86.15115654324488]
  逐次的変化検出のための基本的かつ汎用的なフレームワークを開発する。 私たちの手順は、平均走行距離のクリーンで無症状な境界が伴います。 統計的および計算効率の両方を達成するために,これらの混合物を設計する方法を示す。
  論文  参考訳（メタデータ） (2022-03-07T17:25:02Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Regularizing Towards Permutation Invariance in Recurrent Models [26.36835670113303]
  我々は、RNNが置換不変性に対して規則化可能であることを示し、その結果、コンパクトモデルが得られることを示した。 既存のソリューションは、主に、設計によって不変な置換性を持つ仮説クラスに学習問題を限定することを提案している。 提案手法は,合成および実世界のデータセットにおける他の置換不変手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-25T07:46:51Z)
• Permutation Inference for Canonical Correlation Analysis [0.7646713951724012]
  正準相関に対する簡易な置換試験は, 誤差率の増大につながることを示す。 しかし、ニュアンス変数が存在しない場合、CCAの単純な置換テストは、最初の正準相関以外のすべての正準相関に対して過剰な誤差率をもたらす。 ここでは、残余が交換可能性を持つ低次元基底に変換されることが、有効な置換テストの結果であることを示す。
  論文  参考訳（メタデータ） (2020-02-24T02:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。