論文の概要: Pivotal Auto-Encoder via Self-Normalizing ReLU

• arxiv url: http://arxiv.org/abs/2406.16052v1
• Date: Sun, 23 Jun 2024 09:06:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:13:57.674106
• Title: Pivotal Auto-Encoder via Self-Normalizing ReLU
• Title（参考訳）: Pivotal Auto-Encoder by Self-Normalizing ReLU
• Authors: Nelson Goldenstein, Jeremias Sulam, Yaniv Romano,
• Abstract要約: トランスフォーメーション学習問題として,単一の隠蔽層スパースオートエンコーダを定式化する。 本稿では,テスト時の騒音レベルに不変な予測モデルを実現する最適化問題を提案する。 実験結果から, 各種ノイズに対する安定性が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 20.76999663290342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse auto-encoders are useful for extracting low-dimensional representations from high-dimensional data. However, their performance degrades sharply when the input noise at test time differs from the noise employed during training. This limitation hinders the applicability of auto-encoders in real-world scenarios where the level of noise in the input is unpredictable. In this paper, we formalize single hidden layer sparse auto-encoders as a transform learning problem. Leveraging the transform modeling interpretation, we propose an optimization problem that leads to a predictive model invariant to the noise level at test time. In other words, the same pre-trained model is able to generalize to different noise levels. The proposed optimization algorithm, derived from the square root lasso, is translated into a new, computationally efficient auto-encoding architecture. After proving that our new method is invariant to the noise level, we evaluate our approach by training networks using the proposed architecture for denoising tasks. Our experimental results demonstrate that the trained models yield a significant improvement in stability against varying types of noise compared to commonly used architectures.
• Abstract（参考訳）: スパースオートエンコーダは高次元データから低次元表現を抽出するのに有用である。 しかし、テスト時の入力ノイズとトレーニング時に使用するノイズとが異なる場合、その性能は急激に低下する。 この制限は、入力のノイズレベルが予測不可能な実世界のシナリオにおけるオートエンコーダの適用性を妨げている。 本稿では,トランスフォーメーション学習問題として,単一の隠蔽層スパースオートエンコーダを定式化する。 変換モデリングの解釈を応用し、テスト時の雑音レベルに不変な予測モデルをもたらす最適化問題を提案する。 言い換えれば、同じ事前訓練されたモデルが、異なるノイズレベルに一般化することができる。 提案アルゴリズムは平方根のラッソから導出され,新しい計算効率の高い自動符号化アーキテクチャに変換される。 提案手法がノイズレベルに不変であることを証明した後,提案手法を用いてネットワークを訓練し,タスクを識別する手法を提案する。 実験結果から, 各種ノイズに対する安定性は, 一般的なアーキテクチャに比べて有意に向上したことがわかった。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
  ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。 NPCは検出モジュールと修正モジュールから構成される。 我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T08:27:14Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Walking Noise: On Layer-Specific Robustness of Neural Architectures against Noisy Computations and Associated Characteristic Learning Dynamics [1.5184189132709105]
  本稿では,異なる分類タスクとモデルアーキテクチャに対する加法的,乗法的,混合ノイズの影響について論じる。 本研究では,ロバスト性を測定するため,層固有のノイズを注入するウォーキングノイズ法を提案する。 我々は,この方法論の実践的利用に関する議論をまとめ,ノイズの多い環境での適応型マルチエグゼクティブの活用について論じる。
  論文  参考訳（メタデータ） (2022-12-20T17:09:08Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Robust Time Series Denoising with Learnable Wavelet Packet Transform [1.370633147306388]
  多くのアプリケーションでは、後の分析や学習タスクの前に、信号の復号化が最初の前処理ステップであることが多い。 本稿では,ウェーブレットパケット変換の学習可能なバージョンである信号処理にインスパイアされたディープ・ラーニング・デノイング・モデルを適用することを提案する。 本稿では,提案アルゴリズムが信号処理手法の普遍性とディープラーニング手法の学習能力にどのように関係しているかを示す。
  論文  参考訳（メタデータ） (2022-06-13T13:05:58Z)
• CDLNet: Noise-Adaptive Convolutional Dictionary Learning Network for Blind Denoising and Demosaicing [4.975707665155918]
  アンロール最適化ネットワークは、ディープニューラルネットワークを構築するための解釈可能な代替手段を提供する。 本稿では,非学習型畳み込み辞書学習ネットワーク(CDLNet)を提案する。 具体的には,提案モデルが類似パラメータ数にスケールした場合に,完全畳み込みモデルやJDDモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-02T01:23:21Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)
• CDLNet: Robust and Interpretable Denoising Through Deep Convolutional Dictionary Learning [6.6234935958112295]
  unrolled optimization networksは、ディープニューラルネットワークを構築するための解釈可能な代替案を提案する。 提案したモデルが,同様のパラメータ数にスケールすると,最先端のデノイジングモデルに勝ることを示す。
  論文  参考訳（メタデータ） (2021-03-05T01:15:59Z)
• Switching Variational Auto-Encoders for Noise-Agnostic Audio-visual Speech Enhancement [26.596930749375474]
  本稿では,異なるVAEアーキテクチャを時間的に切り換えるために,マルコフの依存関係を持つ潜在逐次変数を導入する。 モデルのパラメータを推定し、音声信号を強化するために、対応する変動予測-最大化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-02-08T11:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。