Fugu-MT 論文翻訳(概要): Learning a Lie Algebra from Unlabeled Data Pairs

論文の概要: Learning a Lie Algebra from Unlabeled Data Pairs

arxiv url: http://arxiv.org/abs/2009.09321v3
Date: Thu, 12 Nov 2020 09:29:36 GMT
ステータス: 処理完了
システム内更新日: 2022-10-16 20:44:56.276187
Title: Learning a Lie Algebra from Unlabeled Data Pairs
Title（参考訳）: ラベルのないデータペアからLie Algebraを学ぶ
Authors: Christopher Ick and Vincent Lostanlen
Abstract要約: 深層畳み込みネットワーク (convnets) は、非絡み合った表現を学習する顕著な能力を示している。本稿では,空間$mathbbRn$の非線形変換を発見する機械学習手法を提案する。鍵となる考え方は、すべてのターゲット $boldsymboly_i$ を $boldsymbolwidetildey_i = boldsymbolphi(t_i) boldsymbolx_i$ という形の行列ベクトル積で近似することである。
参考スコア（独自算出の注目度）: 7.329382191592538
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep convolutional networks (convnets) show a remarkable ability to learn disentangled representations. In recent years, the generalization of deep learning to Lie groups beyond rigid motion in $\mathbb{R}^n$ has allowed to build convnets over datasets with non-trivial symmetries, such as patterns over the surface of a sphere. However, one limitation of this approach is the need to explicitly define the Lie group underlying the desired invariance property before training the convnet. Whereas rotations on the sphere have a well-known symmetry group ($\mathrm{SO}(3)$), the same cannot be said of many real-world factors of variability. For example, the disentanglement of pitch, intensity dynamics, and playing technique remains a challenging task in music information retrieval. This article proposes a machine learning method to discover a nonlinear transformation of the space $\mathbb{R}^n$ which maps a collection of $n$-dimensional vectors $(\boldsymbol{x}_i)_i$ onto a collection of target vectors $(\boldsymbol{y}_i)_i$. The key idea is to approximate every target $\boldsymbol{y}_i$ by a matrix--vector product of the form $\boldsymbol{\widetilde{y}}_i = \boldsymbol{\phi}(t_i) \boldsymbol{x}_i$, where the matrix $\boldsymbol{\phi}(t_i)$ belongs to a one-parameter subgroup of $\mathrm{GL}_n (\mathbb{R})$. Crucially, the value of the parameter $t_i \in \mathbb{R}$ may change between data pairs $(\boldsymbol{x}_i, \boldsymbol{y}_i)$ and does not need to be known in advance.
Abstract（参考訳）: 深層畳み込みネットワーク (convnets) は、非絡み合った表現を学習する顕著な能力を示している。近年、$\mathbb{R}^n$ の剛運動を超えたリー群への深層学習の一般化により、球面上のパターンのような非自明な対称性を持つデータセット上の畳み込みが可能である。しかし、このアプローチの1つの制限は、convnetを訓練する前に所望の不変性の基礎となるリー群を明示的に定義する必要があることである。球面上の回転はよく知られた対称性群 ("\mathrm{SO}(3)$") を持つが、多くの実世界の変数因子について同じことは言えない。例えば、ピッチ、インテンシティ・ダイナミクス、演奏技法の絡み合いは、音楽情報検索において依然として困難な課題である。本稿では,n$次元ベクトルの集合 $(\boldsymbol{x}_i)_i$ を対象ベクトルの集合 $(\boldsymbol{y}_i)_i$ に写像する空間 $\mathbb{R}^n$ の非線形変換を発見する機械学習手法を提案する。鍵となるアイデアは、すべてのターゲット $\boldsymbol{y}_i$ を $\boldsymbol{\widetilde{y}}_i = \boldsymbol{\phi}(t_i) \boldsymbol{x}_i$ という形の行列ベクトル積で近似することであり、ここで行列 $\boldsymbol{\phi}(t_i)$ は $\mathrm{GL}_n (\mathbb{R})$ の1パラメータ部分群に属する。重要なことに、パラメータ $t_i \in \mathbb{R}$ の値は、データペア $(\boldsymbol{x}_i, \boldsymbol{y}_i)$ の間で変化し、事前に知る必要はない。

関連論文リスト

Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文参考訳（メタデータ） (2024-06-03T17:56:58Z)
Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文参考訳（メタデータ） (2024-02-06T15:39:09Z)
Families of costs with zero and nonnegative MTW tensor in optimal transport [0.0]
我々は、$mathsfc$のコスト関数を持つ$mathbbRn$上の最適輸送問題に対するMTWテンソルを明示的に計算する。我々は$sinh$-typeの双曲的コストを分析し、$mathsfc$-type関数と発散の例を提供する。
論文参考訳（メタデータ） (2024-01-01T20:33:27Z)
Uncovering hidden geometry in Transformers via disentangling position and context [0.6118897979046375]
トレーニングされた変換器の隠れ状態(または埋め込み)を解釈可能なコンポーネントに簡易に分解する。一般的なトランスフォーマーアーキテクチャや多様なテキストデータセットでは、経験的に広範に数学的構造が見つかる。
論文参考訳（メタデータ） (2023-10-07T15:50:26Z)
Solving Quadratic Systems with Full-Rank Matrices Using Sparse or Generative Priors [44.94521933974231]
本稿では, 二次系$y_i=boldsymbolxtopboldsymboldsymboldA_iboldsymbolxからの信号を復元する問題に対処する。本稿では,空間レベルの$k$を必要としないしきい値のWirtinger Flow (TWF)アルゴリズムを提案する。スパースケースに対する我々のアプローチは、既存の証明可能なアルゴリズムのパワーファクタライゼーションよりも優れていることを示す。
論文参考訳（メタデータ） (2023-09-16T16:00:07Z)
Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文参考訳（メタデータ） (2022-06-17T17:55:43Z)
Spectral properties of sample covariance matrices arising from random matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$. ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文参考訳（メタデータ） (2021-09-06T14:21:43Z)
Self-training Converts Weak Learners to Strong Learners in Mixture Models [86.7137362125503]
擬似ラベルの $boldsymbolbeta_mathrmpl$ が,最大$C_mathrmerr$ の分類誤差を達成可能であることを示す。さらに、ロジスティックな損失に対して勾配降下を実行することで、ラベル付き例のみを使用して、分類誤差が$C_mathrmerr$で擬ラベルの $boldsymbolbeta_mathrmpl$ が得られることを示す。
論文参考訳（メタデータ） (2021-06-25T17:59:16Z)
Learning a Latent Simplex in Input-Sparsity Time [58.30321592603066]
我々は、$AinmathbbRdtimes n$へのアクセスを考えると、潜入$k$-vertex simplex $KsubsetmathbbRdtimes n$を学習する問題を考える。実行時間における$k$への依存は、トップ$k$特異値の質量が$a$であるという自然な仮定から不要であることを示す。
論文参考訳（メタデータ） (2021-05-17T16:40:48Z)
A Canonical Transform for Strengthening the Local $L^p$-Type Universal Approximation Property [4.18804572788063]
任意の機械学習モデルクラス $mathscrFsubseteq C(mathbbRd,mathbbRD)$ が $Lp_mu(mathbbRd,mathbbRD)$ で密であることを保証する。本稿では、「$mathscrF$'s approximation property」という正準変換を導入することにより、この近似理論問題に対する一般的な解を提案する。
論文参考訳（メタデータ） (2020-06-24T17:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。