論文の概要: ARMA Nets: Expanding Receptive Field for Dense Prediction
- arxiv url: http://arxiv.org/abs/2002.11609v2
- Date: Fri, 25 Sep 2020 04:12:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-31 22:43:40.189048
- Title: ARMA Nets: Expanding Receptive Field for Dense Prediction
- Title（参考訳）: ARMA Nets: ディエンス予測のための受容領域を広げる
- Authors: Jiahao Su, Shiqi Wang, Furong Huang
- Abstract要約: 従来の畳み込み層をARMA(autoregressive moving-average)層に置き換えることを提案する。
ARMA層は出力ニューロンの明示的な相互接続を可能にし、自己回帰係数を適応させることで受容野を学習する。
我々は,ARMA層を有するネットワークの有効受容場が,より大きい自己回帰係数で拡張されることを理論的および実証的に示す。
- 参考スコア（独自算出の注目度）: 30.740011644087073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Global information is essential for dense prediction problems, whose goal is
to compute a discrete or continuous label for each pixel in the images.
Traditional convolutional layers in neural networks, initially designed for
image classification, are restrictive in these problems since the filter size
limits their receptive fields. In this work, we propose to replace any
traditional convolutional layer with an autoregressive moving-average (ARMA)
layer, a novel module with an adjustable receptive field controlled by the
learnable autoregressive coefficients. Compared with traditional convolutional
layers, our ARMA layer enables explicit interconnections of the output neurons
and learns its receptive field by adapting the autoregressive coefficients of
the interconnections. ARMA layer is adjustable to different types of tasks: for
tasks where global information is crucial, it is capable of learning relatively
large autoregressive coefficients to allow for an output neuron's receptive
field covering the entire input; for tasks where only local information is
required, it can learn small or near zero autoregressive coefficients and
automatically reduces to a traditional convolutional layer. We show both
theoretically and empirically that the effective receptive field of networks
with ARMA layers (named as ARMA networks) expands with larger autoregressive
coefficients. We also provably solve the instability problem of learning and
prediction in the ARMA layer through a re-parameterization mechanism.
Additionally, we demonstrate that ARMA networks substantially improve their
baselines on challenging dense prediction tasks including video prediction and
semantic segmentation.
- Abstract（参考訳）: グローバルな情報は、画像の各ピクセルの離散的または連続的なラベルを計算することを目的として、密度の高い予測問題に不可欠である。
ニューラルネットワークの従来の畳み込み層は、当初は画像分類用に設計されていたが、フィルタサイズが受容野を制限するため、これらの問題には制限がある。
本研究では,従来の畳み込み層を自己回帰移動平均(arma)層に置き換え,学習可能な自己回帰係数によって制御される適応可能な受容場を有する新規モジュールを提案する。
従来の畳み込み層と比較して、我々のARMA層は出力ニューロンの明示的な相互結合を可能にし、相互結合の自己回帰係数を適応させることで受容場を学習する。
ARMA層は、グローバル情報が不可欠であるタスクに対して、入力全体をカバーする出力ニューロンの受容野を許容する比較的大きな自己回帰係数を学習することが可能であり、ローカル情報のみを必要とするタスクに対しては、小さなあるいはほぼゼロの自己回帰係数を学習し、従来の畳み込み層に自動的に還元することができる。
我々は,ARMA層を有するネットワークの有効受容場(ARMAネットワーク)が,より大きい自己回帰係数で拡張されることを理論的および実証的に示す。
また、再パラメータ化機構により、ARMA層における学習と予測の不安定性の問題を確実に解決する。
さらに,ARMAネットワークは,映像予測やセマンティックセグメンテーションといった難易度の高い予測タスクのベースラインを大幅に改善することを示した。
関連論文リスト
- Verifying message-passing neural networks via topology-based bounds tightening [3.3267518043390205]
我々は、メッセージパッシングニューラルネットワーク(MPNN)のための堅牢な証明書を提供するための、計算学的に効果的なアプローチを開発する。
私たちの研究は混合整数最適化に基づいており、様々なサブプロブレムをエンコードしています。
ノード分類とグラフ分類の両方の問題を検証し、エッジの追加と削除の両方を行うトポロジ的攻撃について検討する。
論文 参考訳（メタデータ） (2024-02-21T17:05:27Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - Normalization-Equivariant Neural Networks with Application to Image
Denoising [3.591122855617648]
本稿では,ニューラルネットの正規化-等分散が設計によって成り立つように適応する手法を提案する。
私たちの主張は、通常の畳み込み層だけでなく、すべての活性化関数も、ニューラルネットワークから完全に取り除くべきだということです。
画像復号化実験の結果、正規化等価ニューラルネットワークは、条件付けの改善に加えて、ノイズレベルをまたいだより優れた一般化をもたらすことが示された。
論文 参考訳（メタデータ） (2023-06-08T08:42:08Z) - Multiscale Graph Neural Network Autoencoders for Interpretable
Scientific Machine Learning [0.0]
この研究の目的は、オートエンコーダベースのモデルにおいて、潜在空間解釈可能性と非構造化メッシュとの互換性という2つの制限に対処することである。
これは、複雑な流体流れのアプリケーションのデモを含む、新しいグラフニューラルネットワーク(GNN)自動エンコーディングアーキテクチャの開発によって達成される。
論文 参考訳（メタデータ） (2023-02-13T08:47:11Z) - Self-Supervised Masked Convolutional Transformer Block for Anomaly
Detection [122.4894940892536]
本稿では, 自己監督型マスク型畳み込み変圧器ブロック (SSMCTB) について述べる。
本研究では,従来の自己教師型予測畳み込み抑止ブロック(SSPCAB)を3次元マスク付き畳み込み層,チャンネルワイドアテンション用トランスフォーマー,およびハマーロスに基づく新たな自己教師型目標を用いて拡張する。
論文 参考訳（メタデータ） (2022-09-25T04:56:10Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Critical Initialization of Wide and Deep Neural Networks through Partial
Jacobians: General Theory and Applications [6.579523168465526]
ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。
我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
論文 参考訳（メタデータ） (2021-11-23T20:31:42Z) - Rethinking Skip Connection with Layer Normalization in Transformers and
ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。
本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文 参考訳（メタデータ） (2021-05-15T11:44:49Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。