論文の概要: Deep Symmetric Autoencoders from the Eckart-Young-Schmidt Perspective
- arxiv url: http://arxiv.org/abs/2506.11641v1
- Date: Fri, 13 Jun 2025 10:12:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-16 17:50:49.749318
- Title: Deep Symmetric Autoencoders from the Eckart-Young-Schmidt Perspective
- Title（参考訳）: エッカート・ヤング・シュミットの視点からの深部対称性オートエンコーダ
- Authors: Simone Brivio, Nicola Rares Franco,
- Abstract要約: 本稿では,対称型オートエンコーダのクラス間の形式的な区別を導入し,その強度と限界を数学的観点から分析する。
例えば、正則性制約を持つ対称自己エンコーダの再構成誤差は、よく知られたEckart-Young-Schmidt(EYS)定理を利用して理解することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep autoencoders have become a fundamental tool in various machine learning applications, ranging from dimensionality reduction and reduced order modeling of partial differential equations to anomaly detection and neural machine translation. Despite their empirical success, a solid theoretical foundation for their expressiveness remains elusive, particularly when compared to classical projection-based techniques. In this work, we aim to take a step forward in this direction by presenting a comprehensive analysis of what we refer to as symmetric autoencoders, a broad class of deep learning architectures ubiquitous in the literature. Specifically, we introduce a formal distinction between different classes of symmetric architectures, analyzing their strengths and limitations from a mathematical perspective. For instance, we show that the reconstruction error of symmetric autoencoders with orthonormality constraints can be understood by leveraging the well-renowned Eckart-Young-Schmidt (EYS) theorem. As a byproduct of our analysis, we end up developing the EYS initialization strategy for symmetric autoencoders, which is based on an iterated application of the Singular Value Decomposition (SVD). To validate our findings, we conduct a series of numerical experiments where we benchmark our proposal against conventional deep autoencoders, discussing the importance of model design and initialization.
- Abstract（参考訳）: ディープオートエンコーダは、偏微分方程式の次元の減少と順序の縮小から異常検出やニューラルマシン翻訳まで、さまざまな機械学習アプリケーションにおいて基本的なツールとなっている。
実証的な成功にもかかわらず、その表現力のしっかりとした理論的基礎は、古典的な射影に基づく技法と比較して、解明され続けている。
本研究では,文献に広く分布する多種多様なディープラーニングアーキテクチャである対称型オートエンコーダを包括的に分析することにより,この方向への一歩を踏み出すことを目的とする。
具体的には,異なる対称アーキテクチャのクラスを形式的に区別し,その強みと限界を数学的観点から分析する。
例えば、正則性制約を持つ対称自己エンコーダの再構成誤差は、よく知られたEckart-Young-Schmidt(EYS)定理を利用して理解することができる。
解析の副産物として,Singular Value Decomposition (SVD) の反復的適用に基づく対称オートエンコーダのEYS初期化戦略を開発する。
提案手法を従来のディープ・オートエンコーダと比較し,モデル設計と初期化の重要性を議論する数値実験を行った。
関連論文リスト
- Optimal Equivariant Architectures from the Symmetries of Matrix-Element Likelihoods [0.0]
マトリックス要素法(MEM)は長年、高エネルギー物理学におけるデータ解析の基盤となっている。
幾何学的なディープラーニングは、既知の対称性を直接設計に組み込むニューラルネットワークアーキテクチャを可能にした。
本稿では、MEMにインスパイアされた対称性と、粒子物理解析のための同変ニューラルネットワーク設計を組み合わせた新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-10-24T08:56:37Z) - A practical existence theorem for reduced order models based on convolutional autoencoders [0.4604003661048266]
部分微分方程式 (PDE) と還元次数モデリング (ROM) の分野ではディープラーニングが人気を博している。
CNNベースのオートエンコーダは、複雑な非線形問題に対処する際、低基底法などの確立された手法よりも極めて効果的であることが証明されている。
パラメーター対解写像が正則である場合、CNNベースの自己エンコーダに対して新しい実用的存在定理を提供する。
論文 参考訳（メタデータ） (2024-02-01T09:01:58Z) - On the latent dimension of deep autoencoders for reduced order modeling
of PDEs parametrized by random fields [0.6827423171182154]
本稿では,ランダムフィールドの存在下でのDeep Learning-ROMの使用に関する理論的知見を提供する。
ディープオートエンコーダの潜伏次元を選択する際に、ドメインの実践者をガイドできる明示的なエラー境界を導出します。
数値実験により,本理論の実用性を評価する。
論文 参考訳（メタデータ） (2023-10-18T16:38:23Z) - LAMBO: Large AI Model Empowered Edge Intelligence [71.56135386994119]
次世代エッジインテリジェンスは、オフロード技術を通じて様々なアプリケーションに恩恵をもたらすことが期待されている。
従来のオフロードアーキテクチャは、不均一な制約、部分的な認識、不確実な一般化、トラクタビリティの欠如など、いくつかの問題に直面している。
我々は、これらの問題を解決するための10億以上のパラメータを持つLarge AI Model-Based Offloading (LAMBO)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-29T07:25:42Z) - Adaptive Log-Euclidean Metrics for SPD Matrix Learning [73.12655932115881]
広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。
実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-03-26T18:31:52Z) - Deep learning applied to computational mechanics: A comprehensive
review, state of the art, and the classics [77.34726150561087]
人工知能,特に深層学習(DL)の最近の進歩を概観する。
ハイブリッドおよび純粋機械学習(ML)の手法について論じる。
AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
論文 参考訳（メタデータ） (2022-12-18T02:03:00Z) - On the Importance of Asymmetry for Siamese Representation Learning [53.86929387179092]
シームズネットワークは、2つの並列エンコーダと概念的に対称である。
ネットワーク内の2つのエンコーダを明確に区別することで,非対称性の重要性について検討する。
非対称設計による改善は、より長いトレーニングスケジュール、複数の他のフレームワーク、より新しいバックボーンに一般化されている。
論文 参考訳（メタデータ） (2022-04-01T17:57:24Z) - Mean-field methods and algorithmic perspectives for high-dimensional
machine learning [5.406386303264086]
障害のあるシステムの統計物理学のツールに基づくアプローチを再検討する。
我々は、様々な理論モデルの位相図に光を放つために、複製法とメッセージパッシングアルゴリズムの深い接続に乗じる。
論文 参考訳（メタデータ） (2021-03-10T09:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。