論文の概要: Entangled Residual Mappings

• arxiv url: http://arxiv.org/abs/2206.01261v1
• Date: Thu, 2 Jun 2022 19:36:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 07:23:09.077796
• Title: Entangled Residual Mappings
• Title（参考訳）: 絡み合った残差写像
• Authors: Mathias Lechner, Ramin Hasani, Zahra Babaiee, Radu Grosu, Daniela Rus, Thomas A. Henzinger, Sepp Hochreiter
• Abstract要約: 残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
• 参考スコア（独自算出の注目度）: 59.02488598557491
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Residual mappings have been shown to perform representation learning in the first layers and iterative feature refinement in higher layers. This interplay, combined with their stabilizing effect on the gradient norms, enables them to train very deep networks. In this paper, we take a step further and introduce entangled residual mappings to generalize the structure of the residual connections and evaluate their role in iterative learning representations. An entangled residual mapping replaces the identity skip connections with specialized entangled mappings such as orthogonal, sparse, and structural correlation matrices that share key attributes (eigenvalues, structure, and Jacobian norm) with identity mappings. We show that while entangled mappings can preserve the iterative refinement of features across various deep models, they influence the representation learning process in convolutional networks differently than attention-based models and recurrent neural networks. In general, we find that for CNNs and Vision Transformers entangled sparse mapping can help generalization while orthogonal mappings hurt performance. For recurrent networks, orthogonal residual mappings form an inductive bias for time-variant sequences, which degrades accuracy on time-invariant tasks.
• Abstract（参考訳）: 残像マッピングは、第1層における表現学習と、上位層における反復的特徴改善を実行することが示されている。 この相互作用は、勾配標準に対する安定化効果と相まって、非常に深いネットワークを訓練することができる。 本稿では,さらに一歩進めて,残差接続の構造を一般化し,反復学習表現におけるその役割を評価するために,絡み合った残差写像を導入する。 絡み合った残余写像は、アイデンティティスキップ接続を、固有値、構造、ジャコビアンノルムといった重要な属性をアイデンティティマッピングと共有する直交、スパース、構造相関行列のような特別な絡み合った写像に置き換える。 絡み合ったマッピングは、様々な深層モデルにまたがる特徴の反復的な洗練を保ちながら、注意に基づくモデルやリカレントニューラルネットワークとは異なる畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示した。 一般に、CNNやVision Transformersの絡み合ったスパースマッピングは、直交写像が性能を損なう一方、一般化に役立つ。 リカレントネットワークの場合、直交残差写像は時間不変タスクの精度を低下させる時間不変シーケンスの帰納バイアスを形成する。

関連論文リスト

• Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations [24.052411316664017]
  本稿では、2つの異なる入力に対して隠された表現の類似性を計測するカーネルシーケンスの進化に関する理論的枠組みを提案する。 非線形アクティベーションに対しては、カーネルシーケンスは、アクティベーションとネットワークアーキテクチャに依存する同様の表現に対応可能な、一意の固定点にグローバルに収束する。 この研究は、ディープニューラルネットワークの暗黙のバイアスと、アーキテクチャ上の選択が層間の表現の進化にどのように影響するかについて、新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-26T07:10:47Z)
• A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
  2層から有限層まで線形に活性化するニューラルネットワークについて検討する。 まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
  論文  参考訳（メタデータ） (2024-03-02T00:33:45Z)
• Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting [0.0]
  正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。 この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
  論文  参考訳（メタデータ） (2023-08-01T15:04:30Z)
• Brain-like combination of feedforward and recurrent network components achieves prototype extraction and robust pattern recognition [0.0]
  連想記憶は、大々的に繰り返される新皮質ネットワークによって実行される計算の有力候補である。 我々は,非教師付きヘビアン・ベイズ学習規則を用いて分散表現を学習するフィードフォワードネットワークに,繰り返しアトラクタネットワークを結合する。 本研究では, フィードフォワード駆動型内部(隠れた)表現のトレーニングにおいて, 繰り返しアトラクタコンポーネントが連想メモリを実装していることを示す。
  論文  参考訳（メタデータ） (2022-06-30T06:03:11Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Generating Attribution Maps with Disentangled Masked Backpropagation [22.065454879517326]
  モデル関数を異なる線形写像に分解するために、DMBP(Disentangled Masked Backpropagation)を導入する。 DMBPは従来の手法よりも視覚的に解釈可能な属性マップを生成する。 提案手法により生成された地図は,最終的なネットワーク出力に対する各画素の真の寄与とより一致していることを示す。
  論文  参考訳（メタデータ） (2021-01-17T20:32:14Z)
• Problems of representation of electrocardiograms in convolutional neural networks [58.720142291102135]
  これらの問題は本質的に体系的であることを示す。 これらは、畳み込みネットワークが複合オブジェクトでどのように機能するかに起因するが、その一部は厳格に固定されていないが、大きな移動性を持っている。
  論文  参考訳（メタデータ） (2020-12-01T14:02:06Z)
• Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
  本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。 実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-30T05:48:48Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。