論文の概要: A spatiotemporal style transfer algorithm for dynamic visual stimulus
generation
- arxiv url: http://arxiv.org/abs/2403.04940v1
- Date: Thu, 7 Mar 2024 23:07:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 21:37:45.469198
- Title: A spatiotemporal style transfer algorithm for dynamic visual stimulus
generation
- Title(参考訳): 動的視覚刺激生成のための時空間スタイル伝達アルゴリズム
- Authors: Antonino Greco and Markus Siegel
- Abstract要約: 動的視覚刺激生成フレームワークであるSTSTアルゴリズムを導入する。
これは、動的視覚刺激を生成するために空間的特徴と時間的特徴を分解する2ストリームのディープニューラルネットワークモデルに基づいている。
提案アルゴリズムは, 層活性化を自然なビデオと一致させる動的刺激であるモデルメタマーの生成を可能にすることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Understanding how visual information is encoded in biological and artificial
systems often requires vision scientists to generate appropriate stimuli to
test specific hypotheses. Although deep neural network models have
revolutionized the field of image generation with methods such as image style
transfer, available methods for video generation are scarce. Here, we introduce
the Spatiotemporal Style Transfer (STST) algorithm, a dynamic visual stimulus
generation framework that allows powerful manipulation and synthesis of video
stimuli for vision research. It is based on a two-stream deep neural network
model that factorizes spatial and temporal features to generate dynamic visual
stimuli whose model layer activations are matched to those of input videos. As
an example, we show that our algorithm enables the generation of model
metamers, dynamic stimuli whose layer activations within our two-stream model
are matched to those of natural videos. We show that these generated stimuli
match the low-level spatiotemporal features of their natural counterparts but
lack their high-level semantic features, making it a powerful paradigm to study
object recognition. Late layer activations in deep vision models exhibited a
lower similarity between natural and metameric stimuli compared to early
layers, confirming the lack of high-level information in the generated stimuli.
Finally, we use our generated stimuli to probe the representational
capabilities of predictive coding deep networks. These results showcase
potential applications of our algorithm as a versatile tool for dynamic
stimulus generation in vision science.
- Abstract(参考訳): 視覚情報がどのように生体や人工システムに符号化されているかを理解するには、視覚科学者が特定の仮説をテストする適切な刺激を生成する必要がある。
ディープニューラルネットワークモデルは、画像スタイル転送などの手法で画像生成の分野に革命をもたらしたが、ビデオ生成のための方法はほとんどない。
本稿では、視覚研究のための映像刺激の強力な操作と合成を可能にする動的視覚刺激生成フレームワークである、時空間スタイル転送(STST)アルゴリズムを紹介する。
これは2ストリームのディープニューラルネットワークモデルに基づいており、空間的および時間的特徴を分解し、モデル層の活性化が入力ビデオのものと一致した動的視覚刺激を生成する。
一例として,本アルゴリズムはモデルメタマーを生成できることを示す。2つのストリームモデル内の層活性化が自然映像と一致する動的刺激である。
これらの刺激は, 自然現象の低レベル時空間的特徴と一致しているが, 高レベルな意味的特徴が欠如していることが示され, 物体認識研究の強力なパラダイムとなった。
深層視覚モデルにおける後期層活性化は、初期層に比べて自然刺激とメタマー刺激の類似性が低く、生成した刺激の高レベル情報の欠如が確認された。
最後に、生成した刺激を用いて予測符号化深層ネットワークの表現能力を探索する。
これらの結果は,視覚科学における動的刺激生成のための汎用ツールとしてのアルゴリズムの可能性を示す。
関連論文リスト
- Event-Driven Imaging in Turbid Media: A Confluence of Optoelectronics
and Neuromorphic Computation [9.53078750806038]
密度の高い濁った媒体の光散乱により視界が著しく不明瞭なターゲットの画像を明らかにするために,新しい光学計算法が導入された。
このスキームは人間の視覚にインスパイアされ、タービッド媒質から収集された拡散光子は、網膜のようにダイナミックな視覚センサーで列車に変換される。
画像再構成は、オリジナル画像が人間の目やデジタルビデオカメラに認識できない濁った条件下で達成される。
論文 参考訳(メタデータ) (2023-09-13T00:38:59Z) - On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。
我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
論文 参考訳(メタデータ) (2023-07-28T13:22:32Z) - Deep recurrent spiking neural networks capture both static and dynamic
representations of the visual cortex under movie stimuli [19.166875407309263]
実世界では、生体視覚系が受ける視覚刺激は主に静的ではなく動的である。
本研究では,映画刺激下でのマウス視覚野のモデル化に深部反復SNNを適用した。
これらのネットワークは静的表現と動的表現の両方をキャプチャする能力がある。
論文 参考訳(メタデータ) (2023-06-02T08:25:58Z) - Modelling Human Visual Motion Processing with Trainable Motion Energy
Sensing and a Self-attention Network [1.9458156037869137]
本稿では,生体とコンピュータの視覚モデルとのギャップを埋めることで,人間の動作知覚のイメージ計算可能なモデルを提案する。
このモデルアーキテクチャは、生体視覚システムにおける運動知覚のコア構造であるV1-MTの計算を捉えることを目的としている。
サイリコ神経生理学では、我々のモデルの単位応答は、運動プーリングやスピードチューニングに関する哺乳類の神経記録に類似していることが明らかになっている。
論文 参考訳(メタデータ) (2023-05-16T04:16:07Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Adapting Brain-Like Neural Networks for Modeling Cortical Visual
Prostheses [68.96380145211093]
皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。
現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。
我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
論文 参考訳(メタデータ) (2022-09-27T17:33:19Z) - Emergent organization of receptive fields in networks of excitatory and
inhibitory neurons [3.674863913115431]
そこで我々は,ニューラルネットワークのより一般的な活性化モデルを提案する。
体性感覚入力の合成モデルを用いた実験は、ネットワーク力学が入力の変化の下での神経地図の可塑性にどのように影響するかを研究するために用いられる。
論文 参考訳(メタデータ) (2022-05-26T20:43:14Z) - Deep Representations for Time-varying Brain Datasets [4.129225533930966]
本稿では、領域マップされたfMRIシーケンスと構造接続性の両方を入力として組み込んだ効率的なグラフニューラルネットワークモデルを構築する。
サンプルレベルの適応的隣接行列を学習することで、潜伏する脳のダイナミクスのよい表現を見つけ出す。
これらのモジュールは容易に適応でき、神経科学領域以外の用途にも有用である可能性がある。
論文 参考訳(メタデータ) (2022-05-23T21:57:31Z) - Backprop-Free Reinforcement Learning with Active Neural Generative
Coding [84.11376568625353]
動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。
我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。
我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
論文 参考訳(メタデータ) (2021-07-10T19:02:27Z) - Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文 参考訳(メタデータ) (2020-11-26T01:23:44Z) - Continuous Emotion Recognition with Spatiotemporal Convolutional Neural
Networks [82.54695985117783]
In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。
我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
論文 参考訳(メタデータ) (2020-11-18T13:42:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。