論文の概要: Translating Diffusion, Wavelets, and Regularisation into Residual Networks

• arxiv url: http://arxiv.org/abs/2002.02753v3
• Date: Sun, 7 Jun 2020 08:51:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 04:28:12.195963
• Title: Translating Diffusion, Wavelets, and Regularisation into Residual Networks
• Title（参考訳）: 拡散・ウェーブレット・正規化の残差ネットワークへの変換
• Authors: Tobias Alt, Joachim Weickert, Pascal Peter
• Abstract要約: 畳み込みニューラルネットワーク(CNN)はよく機能するが、安定性はよく分かっていない。 我々は、古典的アプローチが証明可能な安定性を保証する信号の復号化という単純な問題を考える。 我々は、これらの古典的手法の数値近似を、特定の残留ネットワークアーキテクチャとして解釈する。 これにより、微分、縮退関数、正規化関数をアクティベーション関数に変換する辞書が作られる。
• 参考スコア（独自算出の注目度）: 15.104201344012347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) often perform well, but their stability is poorly understood. To address this problem, we consider the simple prototypical problem of signal denoising, where classical approaches such as nonlinear diffusion, wavelet-based methods and regularisation offer provable stability guarantees. To transfer such guarantees to CNNs, we interpret numerical approximations of these classical methods as a specific residual network (ResNet) architecture. This leads to a dictionary which allows to translate diffusivities, shrinkage functions, and regularisers into activation functions, and enables a direct communication between the four research communities. On the CNN side, it does not only inspire new families of nonmonotone activation functions, but also introduces intrinsically stable architectures for an arbitrary number of layers.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)はよく機能するが、安定性はよく分かっていない。 この問題を解決するために,非線形拡散,ウェーブレットに基づく手法,正規化といった古典的手法が証明可能な安定性保証を提供する,信号デノイジングの単純な原型的問題を考える。 このような保証をCNNに転送するために、これらの古典的手法の数値近似をResNetアーキテクチャとして解釈する。 これにより、ディフュージビティ、縮小機能、およびレギュラーをアクティベーション関数に翻訳し、4つの研究コミュニティ間の直接的なコミュニケーションを可能にする辞書が作成される。 CNN側では、非モノトン活性化関数の新しいファミリーを刺激するだけでなく、任意の数の層に対して本質的に安定したアーキテクチャを導入する。

関連論文リスト

• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Expressive Monotonic Neural Networks [1.0128808054306184]
  ニューラルネットワークの出力のいくつかの入力に対する単調な依存は、ドメイン知識がそのような振る舞いを規定する多くのシナリオにおいて決定的な帰納的バイアスである。 入力の任意の部分集合における正確な単調依存を実現するために, 単一の残差接続を持つ重み制約アーキテクチャを提案する。 このアルゴリズムが、競争性能を達成するための強力で堅牢で解釈可能な識別器の訓練にどのように使われているかを示す。
  論文  参考訳（メタデータ） (2023-07-14T17:59:53Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Interference Cancellation GAN Framework for Dynamic Channels [74.22393885274728]
  チャネルのあらゆる変更に適応できるオンライントレーニングフレームワークを導入します。 我々のフレームワークは、非常にダイナミックなチャネル上での最近のニューラルネットワークモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-08-17T02:01:18Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• A scalable multi-step least squares method for network identification with unknown disturbance topology [0.0]
  本稿では,既知のネットワークトポロジを持つ動的ネットワークの同定手法を提案する。 階調雑音の低減に多段階連続・ヌル空間フィッティング法を用いる。 明示的なBoxモデル構造情報性を含む一貫性証明を提供する。
  論文  参考訳（メタデータ） (2021-06-14T16:12:49Z)
• Translating Numerical Concepts for PDEs into Neural Architectures [9.460896836770534]
  数値アルゴリズムをニューラルネットワークに翻訳することで何が学べるかを検討する。 数値的には、1次元の一般的な高次非線形拡散方程式に対する明示的、加速的、暗黙的スキームを考える。 ニューラルネットワーク側では、残存ネットワーク(ResNets)、リカレントネットワーク、Uネットの観点で対応する概念を特定します。
  論文  参考訳（メタデータ） (2021-03-29T08:31:51Z)
• F-FADE: Frequency Factorization for Anomaly Detection in Edge Streams [53.70940420595329]
  エッジストリームにおける異常検出のための新しいアプローチであるF-FADEを提案する。 ノード対間の相互作用の周波数の時間進化分布を効率的にモデル化するために、新しい周波数分解技術を用いる。 F-FADEは、一定メモリしか必要とせず、時間的および構造的な変化を伴う幅広い種類の異常をオンラインストリーミング環境で処理できる。
  論文  参考訳（メタデータ） (2020-11-09T19:55:40Z)
• DiffRNN: Differential Verification of Recurrent Neural Networks [3.4423518864863154]
  リカレントニューラルネットワーク(RNN)は、画像処理、データ分類、音声認識、自律システムにおけるコントローラなど、さまざまなアプリケーションで人気を集めている。 構造的に類似した2つのニューラルネットワークの等価性を証明するための最初の差分検証手法であるDIFFRNNを提案する。 各種ベンチマークにおいて本手法の有効性を実証し,DIFFRNNがPOPQORNのような最先端の検証ツールより優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-20T14:14:35Z)
• Stability of Internal States in Recurrent Neural Networks Trained on Regular Languages [0.0]
  正規言語認識のためのニューラルネットワークの安定性について検討する。 この飽和状態において、ネットワークアクティベーションの分析は、有限状態機械における離散状態に似た一連のクラスターを示す。 入力シンボルに対応する状態間の遷移は決定論的かつ安定であることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:50:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。