論文の概要: Unified theory for joint covariance properties under geometric image transformations for spatio-temporal receptive fields according to the generalized Gaussian derivative model for visual receptive fields

• arxiv url: http://arxiv.org/abs/2311.10543v7
• Date: Thu, 11 Jul 2024 14:19:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 02:54:11.565160
• Title: Unified theory for joint covariance properties under geometric image transformations for spatio-temporal receptive fields according to the generalized Gaussian derivative model for visual receptive fields
• Title（参考訳）: 視覚受容場に対する一般化ガウス微分モデルに基づく時空間受容場に対する幾何学的画像変換の下での合同共分散の統一理論
• Authors: Tony Lindeberg,
• Abstract要約: 本研究では,時間的イメージ関係下での受容場からの出力と一致させるために,受容場のパラメータをどのように変換する必要があるかを示す。 導出結合共分散特性が受容場応答を関連づけたり一致させたりすることができるかを示す幾何学的解析で結論付ける。
• 参考スコア（独自算出の注目度）: 0.5439020425819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The influence of natural image transformations on receptive field responses is crucial for modelling visual operations in computer vision and biological vision. In this regard, covariance properties with respect to geometric image transformations in the earliest layers of the visual hierarchy are essential for expressing robust image operations, and for formulating invariant visual operations at higher levels. This paper defines and proves a set of joint covariance properties for spatio-temporal receptive fields in terms of spatio-temporal derivative operators applied to spatio-temporally smoothed image data under compositions of spatial scaling transformations, spatial affine transformations, Galilean transformations and temporal scaling transformations. Specifically, the derived relations show how the parameters of the receptive fields need to be transformed, in order to match the output from spatio-temporal receptive fields under composed spatio-temporal image transformations. For this purpose, we also fundamentally extend the notion of scale-normalized derivatives to affine-normalized derivatives, that are computed based on spatial smoothing with affine Gaussian kernels, and analyze the covariance properties of the resulting affine-normalized derivatives for the affine group as well as for important subgroups thereof. We conclude with a geometric analysis, showing how the derived joint covariance properties make it possible to relate or match spatio-temporal receptive field responses, when observing, possibly moving, local surface patches from different views, under locally linearized perspective or projective transformations, as well as when observing different instances of spatio-temporal events, that may occur either faster or slower between different views of similar spatio-temporal events.
• Abstract（参考訳）: 自然画像変換が受容野反応に与える影響は、コンピュータビジョンと生物学的ビジョンにおける視覚操作のモデル化に不可欠である。 この点において、視覚階層の最初期の層における幾何学的画像変換に関する共分散特性は、ロバストな画像操作を表現し、より高いレベルで不変な視覚操作を定式化するために不可欠である。 本稿では,空間的スケーリング変換,空間的アフィン変換,ガリレオ変換,時間的スケーリング変換の合成の下で,時空間スムーズな画像データに適用した時空間微分作用素を用いて,時空間受容場に対する結合共分散特性の集合を定義し,その証明を行う。 具体的には、合成時空間画像変換の下での時空間受入場からの出力と一致するように、受入場のパラメータをどのように変換する必要があるかを示す。 この目的のために、スケール正規化微分の概念を、アフィンガウス核との空間的滑らか化に基づいて計算されるアフィン正規化微分に根本的に拡張し、アフィン群とそれらの重要な部分群に対する結果のアフィン正規化微分の共分散特性を解析する。 幾何学的解析により、導出した関節共分散特性が、異なる視点から局所的な表面パッチを観察、移動させたり、局所的に線形化された視点や射影変換で観察したり、類似の時空間事象の異なる視点でより早いか遅いかのどちらかで発生する時空間事象の異なるインスタンスを観察する際に、時空間の知覚応答を関連づけたり、一致させたりすることができることを示す。

関連論文リスト

• Varying Manifolds in Diffusion: From Time-varying Geometries to Visual Saliency [25.632973225129728]
  前方拡散過程と逆生成過程が多様体上の一連の分布を構成する拡散モデルの幾何学的性質について検討する。 生成速度は画像成分の視覚的明瞭度などの直感的な視覚特性と高い相関性を示す。 本稿では,画像成分の生成速度を時間とともに推定し,生成曲線を導出する効率的かつ微分可能な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-07T07:32:41Z)
• A Theory of Topological Derivatives for Inverse Rendering of Geometry [87.49881303178061]
  我々は、位相微分を用いて離散的な位相変化を可能にする微分可能な曲面進化の理論的枠組みを導入する。 2次元の閉曲線と3次元の曲面を最適化して提案理論を検証し、現在の手法の限界について考察する。
  論文  参考訳（メタデータ） (2023-08-19T00:55:55Z)
• Deep neural networks on diffeomorphism groups for optimal shape reparameterization [44.99833362998488]
  基本微分同相の合成による配向保存微分同相の近似を構成するアルゴリズムを提案する。 このアルゴリズムはPyTorchを用いて実装され、非パラメータ化された曲線と曲面の両方に適用できる。
  論文  参考訳（メタデータ） (2022-07-22T15:25:59Z)
• Tensor Component Analysis for Interpreting the Latent Space of GANs [41.020230946351816]
  本稿では,GANの潜在空間における解釈可能な方向を求める問題に対処する。 提案手法では,テンソルの個々のモードに対応する線形編集と,それらの間の乗法的相互作用をモデル化する非線形編集が可能である。 実験により, 前者は幾何に基づく変換から, 後者は拡張可能な変換を生成できることを示す。
  論文  参考訳（メタデータ） (2021-11-23T09:14:39Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• Image Morphing with Perceptual Constraints and STN Alignment [70.38273150435928]
  本稿では,一対の入力画像で動作する条件付きGANモーフィングフレームワークを提案する。 特別なトレーニングプロトコルは、知覚的類似性損失と組み合わせてフレームのシーケンスを生成し、時間とともにスムーズな変換を促進する。 我々は、古典的かつ潜時的な空間変形技術との比較を行い、自己スーパービジョンのための一連の画像から、我々のネットワークが視覚的に楽しむモーフィング効果を生成することを実証する。
  論文  参考訳（メタデータ） (2020-04-29T10:49:10Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。