論文の概要: Approximating invariant functions with the sorting trick is theoretically justified

• arxiv url: http://arxiv.org/abs/2403.01671v4
• Date: Tue, 08 Jul 2025 01:15:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:36.333863
• Title: Approximating invariant functions with the sorting trick is theoretically justified
• Title（参考訳）: ソートトリックによる不変関数の近似は理論的に正当化される
• Authors: Wee Chaimanowong, Ying Zhu,
• Abstract要約: 我々は正準化の近似理論を確立する。 群平均化と比較すると、正準化はより効率的に計算できる。 正準化が正準化関数の非微分あるいは不連続性をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 1.4316259003164373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many machine learning models leverage group invariance which is enjoyed with a wide-range of applications. For exploiting an invariance structure, one common approach is known as \emph{frame averaging}. One popular example of frame averaging is the \emph{group averaging}, where the entire group is used to symmetrize a function. The other end of the spectrum is the \emph{canonicalization}, where a frame at each point consists of a single group element which transforms the point to its orbit representative. Compared to group averaging, canonicalization is more efficient computationally. However, it results in non-differentiablity or discontinuity of the canonicalized function. As a result, the theoretical performance of canonicalization has not been given much attention. In this work, we establish an approximation theory for canonicalization. Specifically, we bound the point-wise and $L^2(\mathbb{P})$ approximation errors as well as the kernel's eigenvalue decay rates associated with a canonicalization trick.
• Abstract（参考訳）: 多くの機械学習モデルは、広範囲のアプリケーションで楽しめるグループ不変性を活用している。 不変構造を利用する場合、一つの一般的なアプローチは 'emph{frame averaging} として知られている。 フレーム平均化の一般的な例は \emph{group averaging} である。 スペクトルのもう一方の端は 'emph{canonicalization} であり、各点のフレームはその点を軌道代表に変換する単一の群要素からなる。 群平均化と比較すると、正準化はより効率的に計算できる。 しかし、これは正準函数の非微分あるいは不連続性をもたらす。 その結果、正準化の理論性能はあまり注目されなかった。 本研究では,正準化の近似理論を確立する。 具体的には、ポイントワイドと$L^2(\mathbb{P})$近似誤差と、正準化トリックに関連するカーネルの固有値減衰率をバインドする。

関連論文リスト

• Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups [0.0]
  置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。 パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
  論文  参考訳（メタデータ） (2023-09-24T19:40:15Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• On Fitness Landscape Analysis of Permutation Problems: From Distance Metrics to Mutation Operator Selection [0.0]
  この理論を探求し、順列空間上の最適化問題に対するフィットネスランドスケープ解析の実践を拡大する。 まず、置換のための利用可能な距離メトリクスを調査し、次に主成分分析を使用してこれらのメトリクスを分類する。 置換メトリクス、置換突然変異演算子、および関連する進化的アルゴリズムの実装は、オープンソースのJavaライブラリの2つで利用可能です。
  論文  参考訳（メタデータ） (2022-08-23T20:46:49Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization [49.58290066287418]
  構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。 本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
  論文  参考訳（メタデータ） (2022-07-18T12:03:26Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• E-detectors: a nonparametric framework for sequential change detection [86.15115654324488]
  逐次的変化検出のための基本的かつ汎用的なフレームワークを開発する。 私たちの手順は、平均走行距離のクリーンで無症状な境界が伴います。 統計的および計算効率の両方を達成するために,これらの混合物を設計する方法を示す。
  論文  参考訳（メタデータ） (2022-03-07T17:25:02Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Regularizing Towards Permutation Invariance in Recurrent Models [26.36835670113303]
  我々は、RNNが置換不変性に対して規則化可能であることを示し、その結果、コンパクトモデルが得られることを示した。 既存のソリューションは、主に、設計によって不変な置換性を持つ仮説クラスに学習問題を限定することを提案している。 提案手法は,合成および実世界のデータセットにおける他の置換不変手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-25T07:46:51Z)
• Permutation Inference for Canonical Correlation Analysis [0.7646713951724012]
  正準相関に対する簡易な置換試験は, 誤差率の増大につながることを示す。 しかし、ニュアンス変数が存在しない場合、CCAの単純な置換テストは、最初の正準相関以外のすべての正準相関に対して過剰な誤差率をもたらす。 ここでは、残余が交換可能性を持つ低次元基底に変換されることが、有効な置換テストの結果であることを示す。
  論文  参考訳（メタデータ） (2020-02-24T02:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。