論文の概要: Entropy Transformer Networks: A Learning Approach via Tangent Bundle Data Manifold

• arxiv url: http://arxiv.org/abs/2307.12517v1
• Date: Mon, 24 Jul 2023 04:21:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 15:42:08.764760
• Title: Entropy Transformer Networks: A Learning Approach via Tangent Bundle Data Manifold
• Title（参考訳）: Entropy Transformer Networks:Tangent Bundle Data Manifoldによる学習アプローチ
• Authors: Pourya Shamsolmoali, Masoumeh Zareapoor
• Abstract要約: 本稿では,CNNアーキテクチャの設計における画像変換の高精度かつ高速なアプローチについて述べる。 データ多様体分布を補間する新しいエントロピーSTN(ESTN)を提案する。 挑戦的なベンチマークの実験は、提案されたESTNがコンピュータビジョンタスクの範囲で予測精度を向上させることを示している。
• 参考スコア（独自算出の注目度）: 8.893886200299228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper focuses on an accurate and fast interpolation approach for image transformation employed in the design of CNN architectures. Standard Spatial Transformer Networks (STNs) use bilinear or linear interpolation as their interpolation, with unrealistic assumptions about the underlying data distributions, which leads to poor performance under scale variations. Moreover, STNs do not preserve the norm of gradients in propagation due to their dependency on sparse neighboring pixels. To address this problem, a novel Entropy STN (ESTN) is proposed that interpolates on the data manifold distributions. In particular, random samples are generated for each pixel in association with the tangent space of the data manifold and construct a linear approximation of their intensity values with an entropy regularizer to compute the transformer parameters. A simple yet effective technique is also proposed to normalize the non-zero values of the convolution operation, to fine-tune the layers for gradients' norm-regularization during training. Experiments on challenging benchmarks show that the proposed ESTN can improve predictive accuracy over a range of computer vision tasks, including image reconstruction, and classification, while reducing the computational cost.
• Abstract（参考訳）: 本稿では,CNNアーキテクチャの設計における画像変換の高精度かつ高速な補間手法を提案する。 標準空間トランスフォーマーネットワーク(STN)は、その補間として双線型または線形補間を使用し、基礎となるデータ分布に関する非現実的な仮定により、スケールの変動下での性能が低下する。 さらに、STNは、粗い隣接画素に依存しているため、伝播の勾配のノルムを保たない。 この問題に対処するために、データ多様体分布を補間する新しいエントロピーSTN(ESTN)を提案する。 特に、データ多様体の接空間に関連する各画素に対してランダムサンプルを生成し、エントロピー正規化器を用いてその強度値の線形近似を構築し、トランスフォーマーパラメータを計算する。 また、畳み込み演算の非ゼロ値の正規化や、勾配の正規正規化のための層を微調整する簡単な手法も提案されている。 挑戦的なベンチマーク実験により、estnは画像再構成や分類を含む様々なコンピュータビジョンタスクよりも予測精度を向上でき、計算コストを低減できることが示された。

関連論文リスト

• Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
  可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。 提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。 実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-24T13:00:44Z)
• Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors [16.04850782310842]
  我々は反復最適化アルゴリズムをアンロールすることで、解釈可能で軽量なトランスフォーマーのようなニューラルネットワークを構築する。 正規化信号依存グラフ学習モジュールは、従来の変圧器の基本自己保持機構の変種に相当する。
  論文  参考訳（メタデータ） (2024-06-06T14:01:28Z)
• ASWT-SGNN: Adaptive Spectral Wavelet Transform-based Self-Supervised Graph Neural Network [20.924559944655392]
  本稿では,適応スペクトルウェーブレット変換を用いた自己教師付きグラフニューラルネットワーク(ASWT-SGNN)を提案する。 ASWT-SGNNは高密度スペクトル領域におけるフィルタ関数を正確に近似し、コストの高い固有分解を避ける。 ノード分類タスクにおける最先端モデルに匹敵するパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-10T03:07:42Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Patch Based Transformation for Minimum Variance Beamformer Image Approximation Using Delay and Sum Pipeline [0.0]
  本研究では,空間内の固定領域に対する遅延補償無線周波数(RF)パッチをU-Netアーキテクチャによって変換するパッチレベルU-Netベースニューラルネットワークを提案する。 提案手法は、ネットワークのパラメータにおけるMVDR手法によって行われるデータ駆動重み適応を考慮に入れた、RFデータ空間の非線形変換を扱う。
  論文  参考訳（メタデータ） (2021-10-19T19:36:59Z)
• Understanding when spatial transformer networks do not support invariance, and what to do about it [0.0]
  空間トランスフォーマーネットワーク(STN)は、畳み込みニューラルネットワーク(CNN)が画像変換に不変性を学習できるように設計された。 我々はSTNが変換された画像の特徴マップと元の特徴マップを整列する能力を持っていないことを示す。 複雑な特徴を生かした代替STNアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2020-04-24T12:20:35Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。