論文の概要: Randomly initialized autoencoders: fixed points and edge-of-chaos

• arxiv url: http://arxiv.org/abs/2608.14638v1
• Date: Tue, 28 Jul 2026 13:58:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.931493
• Title: Randomly initialized autoencoders: fixed points and edge-of-chaos
• Title（参考訳）: ランダム初期化オートエンコーダ:固定点とエッジ・オブ・カオス
• Abstract要約: 本稿では,DNN(Deep Neural Nets)の特殊なクラスであるオートエンコーダについて検討する。 エッジ・オブ・カオス(EoC)はニューラルネットワーク理論において重要な概念である。 入力の局所的(小)摂動と大域的(任意)摂動を制御するオートエンコーダの局所的およびグローバルなEoCを導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we study autoencoders, a special class of deep neural nets (DNNs) whose performance can be characterized via their fixed points. This perspective naturally raises questions of existence, stability, and basins of attraction of these fixed points. These questions are addressed via the contractive properties of autoencoders, and are closely related to the notion of edge-of-chaos. Edge-of-chaos (EoC) is an important notion in the theory of DNNs. It describes the critical regime separating ordered and chaotic signal propagation through a randomly initialized network. Initialization at or near this critical regime offers several theoretical and practical advantages, including stability of the network w.r.t. perturbations of the input. EoC was previously introduced for broad classes of neural networks using mean-field averaging methods. In this paper we modify the notion of EoC for the study of autoencoders. Specifically, we introduce local and global EoC for autoencoders that control local (small) and global (arbitrary) perturbations of the input respectively. The study of stability of autoencoders falls within the scope of nonlinear problems in Random Matrix Theory (RMT). Our analysis of local EoC is based on spectral techniques of RMT, whereas global EoC is studied by employing Sudakov-Fernique inequality for Gaussian processes.
• Abstract（参考訳）: 本稿では,DNN(Deep Neural Nets)の特殊なクラスであるオートエンコーダについて検討する。 この観点は自然にこれらの固定点の存在、安定性、アトラクションの盆地に関する疑問を提起する。 これらの問題は、オートエンコーダの収縮特性によって解決され、エッジ・オブ・カオスの概念と密接に関連している。 エッジ・オブ・カオス(EoC)はDNN理論において重要な概念である。 これは、ランダムに初期化されたネットワークを介して順序づけられた信号とカオス的な信号の伝搬を分離する臨界状態を記述する。 この臨界状態の近辺における初期化は、入力のネットワークw.r.t.摂動の安定性を含むいくつかの理論的および実践的な利点を提供する。 EoCは、平均場平均化手法を用いて、ニューラルネットワークの幅広いクラスに導入された。 本稿では,オートエンコーダの研究のためにEoCの概念を変更する。 具体的には、各入力の局所的(小)摂動と大域的(任意)摂動を制御するオートエンコーダについて、局所的(小)なEoCとグローバルなEoCを導入する。 オートエンコーダの安定性の研究はランダム行列理論(RMT)の非線形問題の範囲内にある。 局所的EoCの解析はRTTのスペクトル技術に基づいているが、大域的EoCはガウス過程のスダコフ・フェルニク不等式を用いて研究されている。

関連論文リスト

• Focus on What Matters: Fisher-Guided Adaptive Multimodal Fusion for Vulnerability Detection [12.69450437027072]
  TaCCS-DFAは、分類決定に対する特徴方向の感度の尺度としてフィッシャー情報を導入するフレームワークである。 BigVul、Devign、ReVealの実験では、TaCCS-DFAは複数のバックボーンで高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-01-05T09:31:21Z)
• Neuronal Attention Circuit (NAC) for Representation Learning [2.0573301822495553]
  線形一階ODEの解法としてアテンションロジット計算を再構成するCT-Attention機構を導入する。 我々は、不規則な時系列分類、自動運転車の車線維持、産業の予後など、さまざまな領域でNACを実装している。
  論文  参考訳（メタデータ） (2025-12-11T04:49:44Z)
• Instance-Aware Robust Consistency Regularization for Semi-Supervised Nuclei Instance Segmentation [53.94176748542936]
  本稿では、インスタンスレベルの正確な核分割のためのインスタンス対応ロバスト整合性正規化ネットワーク(IRCR-Net)を提案する。 病理画像に核形態学的な先行知識を取り入れ,これらの先行知識を用いてラベルのないデータから生成された擬似ラベルの品質を評価する。
  論文  参考訳（メタデータ） (2025-10-10T12:32:32Z)
• Evaluating Single Event Upsets in Deep Neural Networks for Semantic Segmentation: an embedded system perspective [1.474723404975345]
  本稿では,組み込みディープニューラルネットワーク(DNN)のロバスト性評価について述べる。 本研究は,様々なエンコーダデコーダモデルの層間およびビット間感度をソフトエラーに精査することにより,セグメント化DNNのSEUに対する脆弱性を徹底的に調査する。 本稿では,資源制約によるデプロイメントに適したメモリや計算コストを伴わない,実用的な軽量なエラー軽減手法を提案する。
  論文  参考訳（メタデータ） (2024-12-04T18:28:38Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Efficient Global Robustness Certification of Neural Networks via Interleaving Twin-Network Encoding [8.173681464694651]
  混合整数線形プログラミング(MILP)問題として、ReLUアクティベーション機能付きニューラルネットワークのグローバルロバスト性認証を定式化する。 我々のアプローチは、ニューラルネットワークの2つのコピーを並べて符号化する、新しいインターリービングツインネットワーク符号化スキームを含む。 クローズドループ制御の安全性検証のケーススタディを行い,本手法の重要性と実用性を実証した。
  論文  参考訳（メタデータ） (2022-03-26T19:23:37Z)
• Stability Analysis of Unfolded WMMSE for Power Allocation [80.71751088398209]
  電力割り当ては、無線ネットワークにおける基本的な問題の1つである。 これらのアルゴリズムの出力電力配分は入力摂動に関して安定であることが不可欠である。 本稿では,グラフニューラルネットワークを利用した最新のアルゴリズムであるUWMMSEに着目した。
  論文  参考訳（メタデータ） (2021-10-14T15:44:19Z)
• Bayesian Optimization with Machine Learning Algorithms Towards Anomaly Detection [66.05992706105224]
  本稿では,ベイズ最適化手法を用いた効果的な異常検出フレームワークを提案する。 ISCX 2012データセットを用いて検討したアルゴリズムの性能を評価する。 実験結果から, 精度, 精度, 低コストアラームレート, リコールの観点から, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-08-05T19:29:35Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。