論文の概要: Experimental Analysis of Legendre Decomposition in Machine Learning
- arxiv url: http://arxiv.org/abs/2008.05095v2
- Date: Mon, 21 Sep 2020 14:08:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 04:34:46.120143
- Title: Experimental Analysis of Legendre Decomposition in Machine Learning
- Title(参考訳): 機械学習におけるレジェンド分解の実験的解析
- Authors: Jianye Pang, Kai Yi, Wanguang Yin, Min Xu
- Abstract要約: ルジャンドル分解における双対パラメータと双対平坦多様体の性質について概説する。
応用として, サブ多様体上のパラメータを用いた一連の検証実験とクラスタリング実験を行った。
実験の結果, 部分多様体上のパラメータは, 低ランク表現として直接使用されることができないことがわかった。
- 参考スコア(独自算出の注目度): 5.236596757760004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this technical report, we analyze Legendre decomposition for non-negative
tensor in theory and application. In theory, the properties of dual parameters
and dually flat manifold in Legendre decomposition are reviewed, and the
process of tensor projection and parameter updating is analyzed. In
application, a series of verification experiments and clustering experiments
with parameters on submanifold were carried out, hoping to find an effective
lower dimensional representation of the input tensor. The experimental results
show that the parameters on submanifold have no ability to be directly used as
low-rank representations. Combined with analysis, we connect Legendre
decomposition with neural networks and low-rank representation applications,
and put forward some promising prospects.
- Abstract(参考訳): 本稿では,非負テンソルのレジェンダ分解を理論と応用において解析する。
理論的には、ルジャンドル分解における双対パラメータと双対平坦多様体の性質を概説し、テンソル射影およびパラメータ更新の過程を解析する。
応用として, 入力テンソルの有効低次元表現を期待して, サブ多様体上のパラメータを用いた一連の検証実験とクラスタリング実験を行った。
実験の結果,部分多様体上のパラメータは,直接低ランク表現として利用できないことがわかった。
分析と組み合わせることで,レジェンダ分解をニューラルネットワークや低ランク表現アプリケーションと結びつけ,有望な可能性をいくつか提示する。
関連論文リスト
- Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。
我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。
適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文 参考訳(メタデータ) (2024-06-24T23:00:58Z) - BrowNNe: Brownian Nonlocal Neurons & Activation Functions [0.0]
低トレーニングデータにおけるブラウンニューラルアクティベーション関数がReLUに勝っていることを示す。
本実験は,低トレーニングデータにおけるブラウン神経活性化機能の優れた機能を示す。
論文 参考訳(メタデータ) (2024-06-21T19:40:30Z) - Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - Towards Convergence Rates for Parameter Estimation in Gaussian-gated
Mixture of Experts [40.24720443257405]
ガウスゲートMOEモデルにおける最大推定値(MLE)の収束解析を行う。
以上の結果から,MLEはガウスゲーティング関数の位置パラメータの2つの相補的な設定の下で異なる挙動を示すことが明らかとなった。
特に、これらの挙動は2つの異なる方程式系の可解性によって特徴づけられる。
論文 参考訳(メタデータ) (2023-05-12T16:02:19Z) - Testing Causality for High Dimensional Data [15.818502261466403]
本研究では,高次元の2つの確率変数間の因果方向を推定するために,エンフィナールトレース法を再検討する。
我々は、ある分布仮定の下でより鋭い信頼境界を持つ非線形トレース汎函数に結果を拡張する。
我々は,合成データセットに関する実験を奨励し,理論的結果を支持する。
論文 参考訳(メタデータ) (2023-03-14T10:25:56Z) - Analytical Modelling of Exoplanet Transit Specroscopy with Dimensional
Analysis and Symbolic Regression [68.8204255655161]
ディープラーニング革命は、そのような分析結果を直接、データに適合するコンピュータアルゴリズムで導き出すための扉を開いた。
我々は、一般的なホットジュピター系外惑星の遷移半径の合成データにおける記号回帰の利用をうまく実証した。
前処理のステップとして,変数の無次元な組み合わせを特定するために次元解析を用いる。
論文 参考訳(メタデータ) (2021-12-22T00:52:56Z) - A Unified View of Stochastic Hamiltonian Sampling [18.300078015845262]
この研究は、後続サンプリングのためのハミルトン微分方程式(SDE)の理論的性質を再考する。
数値SDEシミュレーションから生じる2種類の誤差について検討し, 離散化誤差と雑音勾配推定による誤差について検討した。
論文 参考訳(メタデータ) (2021-06-30T16:50:11Z) - Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。
分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
論文 参考訳(メタデータ) (2021-03-07T00:15:44Z) - Provable Benefits of Overparameterization in Model Compression: From
Double Descent to Pruning Neural Networks [38.153825455980645]
最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。
本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。
もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
論文 参考訳(メタデータ) (2020-12-16T05:13:30Z) - Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear
Dynamics [49.41640137945938]
ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。
提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。
提案手法の有効性を,固有値推定と予測性能の観点から実証した。
論文 参考訳(メタデータ) (2020-12-11T08:34:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。