論文の概要: Hierarchical Spherical CNNs with Lifting-based Adaptive Wavelets for
Pooling and Unpooling
- arxiv url: http://arxiv.org/abs/2205.15571v1
- Date: Tue, 31 May 2022 07:23:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-01 12:28:42.070676
- Title: Hierarchical Spherical CNNs with Lifting-based Adaptive Wavelets for
Pooling and Unpooling
- Title(参考訳): リフティングベース適応ウェーブレットを用いた階層型球面CNN
- Authors: Mingxing Xu, Chenglin Li, Wenrui Dai, Siheng Chen, Junni Zou, Pascal
Frossard, Hongkai Xiong
- Abstract要約: 本稿では, 階層型畳み込みニューラルネットワーク(HS-CNN)の新たな枠組みを提案し, プールやアンプールのための適応球面ウェーブレットを学習する。
LiftHS-CNNは、画像レベルのタスクとピクセルレベルのタスクの両方において、より効率的な階層的特徴学習を実現する。
- 参考スコア(独自算出の注目度): 101.72318949104627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pooling and unpooling are two essential operations in constructing
hierarchical spherical convolutional neural networks (HS-CNNs) for
comprehensive feature learning in the spherical domain. Most existing models
employ downsampling-based pooling, which will inevitably incur information loss
and cannot adapt to different spherical signals and tasks. Besides, the
preserved information after pooling cannot be well restored by the subsequent
unpooling to characterize the desirable features for a task. In this paper, we
propose a novel framework of HS-CNNs with a lifting structure to learn adaptive
spherical wavelets for pooling and unpooling, dubbed LiftHS-CNN, which ensures
a more efficient hierarchical feature learning for both image- and pixel-level
tasks. Specifically, adaptive spherical wavelets are learned with a lifting
structure that consists of trainable lifting operators (i.e., update and
predict operators). With this learnable lifting structure, we can adaptively
partition a signal into two sub-bands containing low- and high-frequency
components, respectively, and thus generate a better down-scaled representation
for pooling by preserving more information in the low-frequency sub-band. The
update and predict operators are parameterized with graph-based attention to
jointly consider the signal's characteristics and the underlying geometries. We
further show that particular properties are promised by the learned wavelets,
ensuring the spatial-frequency localization for better exploiting the signal's
correlation in both spatial and frequency domains. We then propose an unpooling
operation that is invertible to the lifting-based pooling, where an inverse
wavelet transform is performed by using the learned lifting operators to
restore an up-scaled representation. Extensive empirical evaluations on various
spherical domain tasks validate the superiority of the proposed LiftHS-CNN.
- Abstract(参考訳): プールとアンプールは、階層型球面畳み込みニューラルネットワーク(hs-cnns)の構築において、球面領域における包括的特徴学習のための2つの重要な操作である。
既存のモデルの多くはダウンサンプリングベースのプーリングを採用しており、必然的に情報損失を発生させ、異なる球面信号やタスクに適応できない。
また、その後のアンプールにより、プール後の保存情報を適切に復元することができず、タスクの望ましい特徴を特徴づける。
本稿では,画像レベルと画素レベルの両方のタスクにおいて,より効率的な階層的特徴学習を実現するlifths-cnnと呼ばれる,適応型球面ウェーブレットを学習するための昇降構造を備えたhs-cnnsの新しいフレームワークを提案する。
具体的には、適応球面ウェーブレットを、訓練可能な昇降演算子(すなわち更新および予測演算子)からなる昇降構造で学習する。
この学習可能なリフト構造により、信号は低周波成分と高周波成分を含む2つのサブバンドに適応的に分割することができ、低周波サブバンドにより多くの情報を保存することにより、プールのためのより良いダウンスケール表現を生成することができる。
更新演算子と予測演算子は、グラフベースの注意でパラメータ化され、信号の特性と基礎となるジオメトリを共同で考慮する。
さらに、学習したウェーブレットによって特定の特性が保証されることを示し、空間および周波数領域における信号の相関をよりよく活用するために、空間周波数の局所化を保証する。
次に,学習した昇降演算子を用いて逆ウェーブレット変換を行い,スケールアップした表現を復元する,昇降ベースのプーリングに可逆なアンプール操作を提案する。
各種球面領域タスクに対する広範囲な実験評価により,提案したLiftHS-CNNの優位性を検証した。
関連論文リスト
- Physics-informed neural wavefields with Gabor basis functions [4.07926531936425]
本稿では,ニューラルネットワークのウェーブフィールド解の効率性と精度を高める手法を提案する。
具体的には、ヘルムホルツ方程式に対して、最後の隠れ層を構成するGabor層で完全に連結されたニューラルネットワークモデルを拡張する。
ガボル関数のこれらの/係数は、非線形活性化関数を含む以前の隠れ層から学習される。
論文 参考訳(メタデータ) (2023-10-16T17:30:33Z) - Temporal Lift Pooling for Continuous Sign Language Recognition [6.428695655854854]
信号処理におけるリフティング・スキームから時間的リフティング・プール(TLP)を導出し,時間的階層の異なる特徴をインテリジェントにダウンサンプリングする。
我々のTLPは3段階の手順であり、信号分解、成分重み付け、情報融合を行い、洗練されたダウンサイズ特徴写像を生成する。
2つの大規模なデータセットの実験では、TLPは手作りの手法と、同様の計算オーバーヘッドを持つ大きなマージン(1.5%)で特殊空間の変種よりも優れていた。
論文 参考訳(メタデータ) (2022-07-18T16:28:00Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳(メタデータ) (2022-07-08T18:17:06Z) - Investigating the Potential of Auxiliary-Classifier GANs for Image
Classification in Low Data Regimes [12.128005423388226]
本稿では、画像分類のための「ワンストップショップ」アーキテクチャとして、補助分類型GAN(AC-GAN)の可能性を検討する。
AC-GANは画像分類において有望であり、標準CNNとの競合性能を達成する。
論文 参考訳(メタデータ) (2022-01-22T19:33:16Z) - AdaPool: Exponential Adaptive Pooling for Information-Retaining
Downsampling [82.08631594071656]
畳み込み層は畳み込みニューラルネットワーク(CNN)の重要な構成要素である
適応的で指数関数的に重み付けされたアダプール法を提案する。
adaPoolは画像やビデオの分類やオブジェクト検出など,さまざまなタスクを通じて,ディテールの保存性の向上を実証する。
論文 参考訳(メタデータ) (2021-11-01T08:50:37Z) - Learnable Discrete Wavelet Pooling (LDW-Pooling) For Convolutional
Networks [33.45407848136399]
本稿では,標準的なプール操作を置き換えるために汎用的に適用可能なLDW-Pooling(Learning Discrete Wavelet Pooling)を提案する。
LDW-PoolingはWaveletPoolingやLiftPoolingといった他の最先端のプール技術と比較して効率的かつ効率的である。
論文 参考訳(メタデータ) (2021-09-13T08:02:38Z) - Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。
この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。
これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
論文 参考訳(メタデータ) (2021-06-21T03:04:51Z) - Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。
我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
論文 参考訳(メタデータ) (2020-10-06T01:20:27Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - Multi Layer Neural Networks as Replacement for Pooling Operations [13.481518628796692]
一方のパーセプトロンは,モデルの複雑さを増大させることなく,プール操作として有効に利用できることを示す。
テンソル畳み込みに対する我々のアプローチとストライドをプール操作として比較し、我々のアプローチが有効であり、複雑さを減少させることを示す。
論文 参考訳(メタデータ) (2020-06-12T07:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。