論文の概要: A spatiotemporal style transfer algorithm for dynamic visual stimulus generation

• arxiv url: http://arxiv.org/abs/2403.04940v1
• Date: Thu, 7 Mar 2024 23:07:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 21:37:45.469198
• Title: A spatiotemporal style transfer algorithm for dynamic visual stimulus generation
• Title（参考訳）: 動的視覚刺激生成のための時空間スタイル伝達アルゴリズム
• Authors: Antonino Greco and Markus Siegel
• Abstract要約: 動的視覚刺激生成フレームワークであるSTSTアルゴリズムを導入する。 これは、動的視覚刺激を生成するために空間的特徴と時間的特徴を分解する2ストリームのディープニューラルネットワークモデルに基づいている。 提案アルゴリズムは, 層活性化を自然なビデオと一致させる動的刺激であるモデルメタマーの生成を可能にすることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Understanding how visual information is encoded in biological and artificial systems often requires vision scientists to generate appropriate stimuli to test specific hypotheses. Although deep neural network models have revolutionized the field of image generation with methods such as image style transfer, available methods for video generation are scarce. Here, we introduce the Spatiotemporal Style Transfer (STST) algorithm, a dynamic visual stimulus generation framework that allows powerful manipulation and synthesis of video stimuli for vision research. It is based on a two-stream deep neural network model that factorizes spatial and temporal features to generate dynamic visual stimuli whose model layer activations are matched to those of input videos. As an example, we show that our algorithm enables the generation of model metamers, dynamic stimuli whose layer activations within our two-stream model are matched to those of natural videos. We show that these generated stimuli match the low-level spatiotemporal features of their natural counterparts but lack their high-level semantic features, making it a powerful paradigm to study object recognition. Late layer activations in deep vision models exhibited a lower similarity between natural and metameric stimuli compared to early layers, confirming the lack of high-level information in the generated stimuli. Finally, we use our generated stimuli to probe the representational capabilities of predictive coding deep networks. These results showcase potential applications of our algorithm as a versatile tool for dynamic stimulus generation in vision science.
• Abstract（参考訳）: 視覚情報がどのように生体や人工システムに符号化されているかを理解するには、視覚科学者が特定の仮説をテストする適切な刺激を生成する必要がある。 ディープニューラルネットワークモデルは、画像スタイル転送などの手法で画像生成の分野に革命をもたらしたが、ビデオ生成のための方法はほとんどない。 本稿では、視覚研究のための映像刺激の強力な操作と合成を可能にする動的視覚刺激生成フレームワークである、時空間スタイル転送(STST)アルゴリズムを紹介する。 これは2ストリームのディープニューラルネットワークモデルに基づいており、空間的および時間的特徴を分解し、モデル層の活性化が入力ビデオのものと一致した動的視覚刺激を生成する。 一例として,本アルゴリズムはモデルメタマーを生成できることを示す。2つのストリームモデル内の層活性化が自然映像と一致する動的刺激である。 これらの刺激は, 自然現象の低レベル時空間的特徴と一致しているが, 高レベルな意味的特徴が欠如していることが示され, 物体認識研究の強力なパラダイムとなった。 深層視覚モデルにおける後期層活性化は、初期層に比べて自然刺激とメタマー刺激の類似性が低く、生成した刺激の高レベル情報の欠如が確認された。 最後に、生成した刺激を用いて予測符号化深層ネットワークの表現能力を探索する。 これらの結果は,視覚科学における動的刺激生成のための汎用ツールとしてのアルゴリズムの可能性を示す。

関連論文リスト

• Time-Dependent VAE for Building Latent Representations from Visual Neural Activity with Complex Dynamics [25.454851828755054]
  TiDeSPL-VAEは複雑な視覚神経活動を効果的に分析し、自然な方法で時間的関係をモデル化することができる。 結果から,本モデルは自然主義的なシーン/ムーブメントにおいて最高の復号性能を得るだけでなく,明示的なニューラルダイナミクスを抽出することがわかった。
  論文  参考訳（メタデータ） (2024-08-15T03:27:23Z)
• On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
  ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。 我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
  論文  参考訳（メタデータ） (2023-07-28T13:22:32Z)
• Long-Range Feedback Spiking Network Captures Dynamic and Static Representations of the Visual Cortex under Movie Stimuli [25.454851828755054]
  視覚野が、文脈に富む情報を含む自然の映画刺激をどのように表現するかについては、限られた知見がある。 本研究では、大脳皮質領域間のトップダウン接続を模倣した長距離フィードバックスパイクネットワーク(LoRaFB-SNet)を提案する。 本稿では,マウスのモデル表現と視覚皮質表現の類似性を測定するために,時系列表現類似性分析(TSRSA)を提案する。
  論文  参考訳（メタデータ） (2023-06-02T08:25:58Z)
• Modelling Human Visual Motion Processing with Trainable Motion Energy Sensing and a Self-attention Network [1.9458156037869137]
  本稿では,生体とコンピュータの視覚モデルとのギャップを埋めることで,人間の動作知覚のイメージ計算可能なモデルを提案する。 このモデルアーキテクチャは、生体視覚システムにおける運動知覚のコア構造であるV1-MTの計算を捉えることを目的としている。 サイリコ神経生理学では、我々のモデルの単位応答は、運動プーリングやスピードチューニングに関する哺乳類の神経記録に類似していることが明らかになっている。
  論文  参考訳（メタデータ） (2023-05-16T04:16:07Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Adapting Brain-Like Neural Networks for Modeling Cortical Visual Prostheses [68.96380145211093]
  皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。 現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。 我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2022-09-27T17:33:19Z)
• Emergent organization of receptive fields in networks of excitatory and inhibitory neurons [3.674863913115431]
  そこで我々は,ニューラルネットワークのより一般的な活性化モデルを提案する。 体性感覚入力の合成モデルを用いた実験は、ネットワーク力学が入力の変化の下での神経地図の可塑性にどのように影響するかを研究するために用いられる。
  論文  参考訳（メタデータ） (2022-05-26T20:43:14Z)
• Deep Representations for Time-varying Brain Datasets [4.129225533930966]
  本稿では、領域マップされたfMRIシーケンスと構造接続性の両方を入力として組み込んだ効率的なグラフニューラルネットワークモデルを構築する。 サンプルレベルの適応的隣接行列を学習することで、潜伏する脳のダイナミクスのよい表現を見つけ出す。 これらのモジュールは容易に適応でき、神経科学領域以外の用途にも有用である可能性がある。
  論文  参考訳（メタデータ） (2022-05-23T21:57:31Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
  本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。 私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。 我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
  論文  参考訳（メタデータ） (2020-11-26T01:23:44Z)
• Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks [82.54695985117783]
  In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。 我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
  論文  参考訳（メタデータ） (2020-11-18T13:42:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。