論文の概要: Approximating invariant functions with the sorting trick is theoretically justified

• arxiv url: http://arxiv.org/abs/2403.01671v4
• Date: Tue, 08 Jul 2025 01:15:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:36.333863
• Title: Approximating invariant functions with the sorting trick is theoretically justified
• Title（参考訳）: ソートトリックによる不変関数の近似は理論的に正当化される
• Authors: Wee Chaimanowong, Ying Zhu,
• Abstract要約: 我々は正準化の近似理論を確立する。 群平均化と比較すると、正準化はより効率的に計算できる。 正準化が正準化関数の非微分あるいは不連続性をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 1.4316259003164373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many machine learning models leverage group invariance which is enjoyed with a wide-range of applications. For exploiting an invariance structure, one common approach is known as \emph{frame averaging}. One popular example of frame averaging is the \emph{group averaging}, where the entire group is used to symmetrize a function. The other end of the spectrum is the \emph{canonicalization}, where a frame at each point consists of a single group element which transforms the point to its orbit representative. Compared to group averaging, canonicalization is more efficient computationally. However, it results in non-differentiablity or discontinuity of the canonicalized function. As a result, the theoretical performance of canonicalization has not been given much attention. In this work, we establish an approximation theory for canonicalization. Specifically, we bound the point-wise and $L^2(\mathbb{P})$ approximation errors as well as the kernel's eigenvalue decay rates associated with a canonicalization trick.
• Abstract（参考訳）: 多くの機械学習モデルは、広範囲のアプリケーションで楽しめるグループ不変性を活用している。 不変構造を利用する場合、一つの一般的なアプローチは 'emph{frame averaging} として知られている。 フレーム平均化の一般的な例は \emph{group averaging} である。 スペクトルのもう一方の端は 'emph{canonicalization} であり、各点のフレームはその点を軌道代表に変換する単一の群要素からなる。 群平均化と比較すると、正準化はより効率的に計算できる。 しかし、これは正準函数の非微分あるいは不連続性をもたらす。 その結果、正準化の理論性能はあまり注目されなかった。 本研究では,正準化の近似理論を確立する。 具体的には、ポイントワイドと$L^2(\mathbb{P})$近似誤差と、正準化トリックに関連するカーネルの固有値減衰率をバインドする。

関連論文リスト

• Number of Clusters in a Dataset: A Regularized K-means Approach [0.6445605125467572]
  正規化k平均アルゴリズムは、データセット内の異なるクラスタの正しい数を見つけるために使用される。 本稿では,クラスタが理想的であると仮定して,$lambda$の厳密な境界を導出する。 実験により、加法正則化器を用いたk平均アルゴリズムは、しばしば複数の解が得られることが示された。
  論文  参考訳（メタデータ） (2025-05-29T01:58:44Z)
• A Canonicalization Perspective on Invariant and Equivariant Learning [54.44572887716977]
  フレームの設計について,本質的で完全な視点を提供する正準化の視点を導入する。 フレームと標準形式の間には固有の関係があることが示される。 既存の手法よりも厳密な固有ベクトルのための新しいフレームを設計する。
  論文  参考訳（メタデータ） (2024-05-28T17:22:15Z)
• Ito Diffusion Approximation of Universal Ito Chains for Sampling, Optimization and Boosting [64.0722630873758]
  我々は、ある微分方程式のオイラー・マルヤマ離散化のように見える、より一般で幅広いマルコフ連鎖、伊藤鎖を考える。 伊藤鎖の法則と微分方程式の間の$W_2$-距離の有界性を証明する。
  論文  参考訳（メタデータ） (2023-10-09T18:38:56Z)
• Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups [0.0]
  置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。 パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
  論文  参考訳（メタデータ） (2023-09-24T19:40:15Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Generalization Bounds for Stochastic Gradient Descent via Localized $\varepsilon$-Covers [16.618918548497223]
  本稿では,SGDの軌道に局在する新しい被覆手法を提案する。 このローカライゼーションは、境界数によって測定されるアルゴリズム固有のクラスタリングを提供する。 これらの結果は様々な文脈で導き出され、既知の最先端のラベルレートが向上する。
  論文  参考訳（メタデータ） (2022-09-19T12:11:07Z)
• On Fitness Landscape Analysis of Permutation Problems: From Distance Metrics to Mutation Operator Selection [0.0]
  この理論を探求し、順列空間上の最適化問題に対するフィットネスランドスケープ解析の実践を拡大する。 まず、置換のための利用可能な距離メトリクスを調査し、次に主成分分析を使用してこれらのメトリクスを分類する。 置換メトリクス、置換突然変異演算子、および関連する進化的アルゴリズムの実装は、オープンソースのJavaライブラリの2つで利用可能です。
  論文  参考訳（メタデータ） (2022-08-23T20:46:49Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization [49.58290066287418]
  構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。 本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
  論文  参考訳（メタデータ） (2022-07-18T12:03:26Z)
• Majorization-minimization for Sparse Nonnegative Matrix Factorization with the $\eta$-divergence [2.3787352248749376]
  他の因子(辞書行列)のノルムは不正な定式化を避けるために制御する必要があることはよく知られている。 標準のプラクティスは、辞書の列に単位ノルムを持つよう制約することであり、これは非自明な最適化問題につながる。 我々は,$ell_1$-regularization あるいはより "攻撃的" なログ規則化に対して,単純な乗法的更新をもたらすブロック・ディフレッシブ・プライマリゼーション・最小化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-07-13T16:09:29Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• E-detectors: a nonparametric framework for sequential change detection [86.15115654324488]
  逐次的変化検出のための基本的かつ汎用的なフレームワークを開発する。 私たちの手順は、平均走行距離のクリーンで無症状な境界が伴います。 統計的および計算効率の両方を達成するために,これらの混合物を設計する方法を示す。
  論文  参考訳（メタデータ） (2022-03-07T17:25:02Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
  二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。 そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:17:35Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Nonparametric approximation of conditional expectation operators [0.3655021726150368]
  最小の仮定の下で、$[Pf](x) := mathbbE[f(Y) mid X = x ]$ で定義される$L2$-operatorの近似について検討する。 我々は、再生されたカーネル空間上で作用するヒルベルト・シュミット作用素により、作用素ノルムにおいて$P$が任意に適切に近似できることを証明した。
  論文  参考訳（メタデータ） (2020-12-23T19:06:12Z)
• Stochastic optimization with momentum: convergence, fluctuations, and traps avoidance [0.0]
  本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。 この回避は、非自明な常微分方程式のノイズ離散化として研究される。
  論文  参考訳（メタデータ） (2020-12-07T19:14:49Z)
• Regularizing Towards Permutation Invariance in Recurrent Models [26.36835670113303]
  我々は、RNNが置換不変性に対して規則化可能であることを示し、その結果、コンパクトモデルが得られることを示した。 既存のソリューションは、主に、設計によって不変な置換性を持つ仮説クラスに学習問題を限定することを提案している。 提案手法は,合成および実世界のデータセットにおける他の置換不変手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-25T07:46:51Z)
• Permutation Inference for Canonical Correlation Analysis [0.7646713951724012]
  正準相関に対する簡易な置換試験は, 誤差率の増大につながることを示す。 しかし、ニュアンス変数が存在しない場合、CCAの単純な置換テストは、最初の正準相関以外のすべての正準相関に対して過剰な誤差率をもたらす。 ここでは、残余が交換可能性を持つ低次元基底に変換されることが、有効な置換テストの結果であることを示す。
  論文  参考訳（メタデータ） (2020-02-24T02:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。