論文の概要: PottsMGNet: A Mathematical Explanation of Encoder-Decoder Based Neural
Networks
- arxiv url: http://arxiv.org/abs/2307.09039v2
- Date: Fri, 15 Sep 2023 13:53:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 18:08:39.010345
- Title: PottsMGNet: A Mathematical Explanation of Encoder-Decoder Based Neural
Networks
- Title（参考訳）: PottsMGNet:エンコーダデコーダに基づくニューラルネットワークの数学的説明
- Authors: Xue-Cheng Tai, Hao Liu, Raymond Chan
- Abstract要約: アルゴリズムの観点から,エンコーダ・デコーダに基づくネットワークアーキテクチャについて検討する。
画像分割には2相ポッツモデルを用いる。
離散的なPottsMGNetはエンコーダ-デコーダベースネットワークと等価であることを示す。
- 参考スコア（独自算出の注目度）: 7.668812831777923
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For problems in image processing and many other fields, a large class of
effective neural networks has encoder-decoder-based architectures. Although
these networks have made impressive performances, mathematical explanations of
their architectures are still underdeveloped. In this paper, we study the
encoder-decoder-based network architecture from the algorithmic perspective and
provide a mathematical explanation. We use the two-phase Potts model for image
segmentation as an example for our explanations. We associate the segmentation
problem with a control problem in the continuous setting. Then, multigrid
method and operator splitting scheme, the PottsMGNet, are used to discretize
the continuous control model. We show that the resulting discrete PottsMGNet is
equivalent to an encoder-decoder-based network. With minor modifications, it is
shown that a number of the popular encoder-decoder-based neural networks are
just instances of the proposed PottsMGNet. By incorporating the
Soft-Threshold-Dynamics into the PottsMGNet as a regularizer, the PottsMGNet
has shown to be robust with the network parameters such as network width and
depth and achieved remarkable performance on datasets with very large noise. In
nearly all our experiments, the new network always performs better or as good
on accuracy and dice score than existing networks for image segmentation.
- Abstract（参考訳）: 画像処理やその他の多くの分野の問題に対して、大規模なニューラルネットワークはエンコーダデコーダベースのアーキテクチャを持つ。
これらのネットワークは印象的な性能を発揮しているが、アーキテクチャの数学的説明はまだ未開発である。
本稿では,エンコーダ・デコーダに基づくネットワークアーキテクチャをアルゴリズム的観点から検討し,数学的説明を行う。
画像分割には二相ポットモデルを用いる。
セグメント化問題と連続的な設定における制御問題とを関連付ける。
次に,マルチグリッド法と演算子分割方式であるPottsMGNetを用いて連続制御モデルを識別する。
離散的なPottsMGNetはエンコーダデコーダベースのネットワークと等価であることを示す。
マイナーチェンジでは、多くの人気のあるエンコーダデコーダベースのニューラルネットワークが提案されているPottsMGNetのインスタンスであることが示された。
pottsmgnetにソフトthreshold-dynamicsをレギュラライザとして組み込むことにより、pottsmgnetはネットワーク幅や深さといったネットワークパラメータに頑健であることを示し、非常に大きなノイズを持つデータセットで顕著な性能を達成した。
ほぼすべての実験で、新しいネットワークは、画像分割のための既存のネットワークよりも、精度とサイコロスコアにおいて常に優れています。
関連論文リスト
- Connections between Operator-splitting Methods and Deep Neural Networks
with Applications in Image Segmentation [7.668812831777923]
ディープニューラルネットワークと数学的アルゴリズムの接続方法はまだ開発中だ。
ディープニューラルネットワークについて,特に演算子分割との接続において,アルゴリズムによる説明を行う。
Pottsモデルを解く演算子分割法に着想を得た2つのネットワークを提案する。
論文 参考訳（メタデータ） (2023-07-18T08:06:14Z) - Continuous U-Net: Faster, Greater and Noiseless [2.6163085620813287]
画像セグメンテーションのための新しいネットワークファミリーであるContinuous U-Netを紹介する。
より高速な収束、高ロバスト性、ノイズに対する感度の低下を示す理論的な保証を提供する。
本研究では, 医用画像セグメンテーションベンチマークデータセットにおいて, 既存のU-Netブロックよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-02-01T17:46:00Z) - ViGU: Vision GNN U-Net for Fast MRI [1.523157765626545]
Vision GNN U-Net (ViGU) と呼ばれる高速MRIのための新しいビジョンGNN型ネットワークを提案する。
対称エンコーダとデコーダパスのグラフブロックを用いてU字型ネットワークを開発する。
数値的および視覚的な実験を通して、提案したViGUとGANの変種が既存のCNNおよびGANベースの手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-01-23T12:51:57Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳（メタデータ） (2021-07-30T04:50:56Z) - Analysis of Convolutional Decoder for Image Caption Generation [1.2183405753834562]
画像キャプション生成などのシーケンスモデリングタスクのために畳み込みニューラルネットワークが提案されている。
リカレントニューラルネットワークベースのデコーダとは異なり、画像キャプション用の畳み込みデコーダは一般的にネットワーク深度の増加の恩恵を受けない。
コンボリューショナルデコーダは,最大15語までの文を含む小長の文を用いて訓練した場合のみ,リカレントデコーダに匹敵する性能を示す。
論文 参考訳（メタデータ） (2021-03-08T17:25:31Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。
少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。
本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
論文 参考訳（メタデータ） (2020-07-14T07:43:09Z) - DRU-net: An Efficient Deep Convolutional Neural Network for Medical
Image Segmentation [2.3574651879602215]
残留ネットワーク(ResNet)と密結合ネットワーク(DenseNet)は、ディープ畳み込みニューラルネットワーク(DCNN)のトレーニング効率と性能を大幅に改善した。
両ネットワークの利点を考慮した効率的なネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-04-28T12:16:24Z) - CRNet: Cross-Reference Networks for Few-Shot Segmentation [59.85183776573642]
少ないショットセグメンテーションは、少数のトレーニングイメージを持つ新しいクラスに一般化できるセグメンテーションモデルを学ぶことを目的としている。
相互参照機構により、我々のネットワークは2つの画像に共起する物体をよりよく見つけることができる。
PASCAL VOC 2012データセットの実験は、我々のネットワークが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2020-03-24T04:55:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。