論文の概要: Neural Representations of Dynamic Visual Stimuli

• arxiv url: http://arxiv.org/abs/2406.02659v1
• Date: Tue, 4 Jun 2024 17:59:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 23:08:11.274466
• Title: Neural Representations of Dynamic Visual Stimuli
• Title（参考訳）: 動的視覚刺激の神経表現
• Authors: Jacob Yeung, Andrew F. Luo, Gabriel Sarch, Margaret M. Henderson, Deva Ramanan, Michael J. Tarr,
• Abstract要約: fMRIで測定した脳活動から視運動情報を光学的流れとして予測(あるいは復号化)できることを示す。 動き条件付き映像拡散モデルを用いて静的画像をリアルにアニメーションできることを示す。 この研究は、人間の脳がどのように視覚情報を動的に処理するかを解釈するための新しい枠組みを提供する。
• 参考スコア（独自算出の注目度）: 36.04425924379253
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans experience the world through constantly changing visual stimuli, where scenes can shift and move, change in appearance, and vary in distance. The dynamic nature of visual perception is a fundamental aspect of our daily lives, yet the large majority of research on object and scene processing, particularly using fMRI, has focused on static stimuli. While studies of static image perception are attractive due to their computational simplicity, they impose a strong non-naturalistic constraint on our investigation of human vision. In contrast, dynamic visual stimuli offer a more ecologically-valid approach but present new challenges due to the interplay between spatial and temporal information, making it difficult to disentangle the representations of stable image features and motion. To overcome this limitation -- given dynamic inputs, we explicitly decouple the modeling of static image representations and motion representations in the human brain. Three results demonstrate the feasibility of this approach. First, we show that visual motion information as optical flow can be predicted (or decoded) from brain activity as measured by fMRI. Second, we show that this predicted motion can be used to realistically animate static images using a motion-conditioned video diffusion model (where the motion is driven by fMRI brain activity). Third, we show prediction in the reverse direction: existing video encoders can be fine-tuned to predict fMRI brain activity from video imagery, and can do so more effectively than image encoders. This foundational work offers a novel, extensible framework for interpreting how the human brain processes dynamic visual information.
• Abstract（参考訳）: 人間は、常に変化する視覚刺激を通して世界を経験し、シーンはシフトしたり移動したり、外観を変えたり、距離を変えたりすることができる。 視覚知覚のダイナミックな性質は、私たちの日常生活の基本的な側面であるが、物体やシーン処理、特にfMRIを用いた研究の大部分は、静的刺激に焦点を当てている。 静的画像知覚の研究は、計算の単純さから魅力的であるが、人間の視覚の研究に強い非自然主義的制約を課している。 対照的に、動的視覚刺激は、より生態学的に有意なアプローチを提供するが、空間的情報と時間的情報との相互作用による新たな課題を呈し、安定した画像の特徴や動きの表現を解き放つことは困難である。 この制限を克服するために、動的入力が与えられた場合、静的な画像表現と人間の脳における動き表現のモデリングを明示的に分離する。 3つの結果は、このアプローチの実現可能性を示している。 まず、fMRIによって計測された脳活動から視運動情報を光学的流れとして予測(あるいは復号化)できることを示す。 第2に、この予測された動きは、運動条件付きビデオ拡散モデル(動きはfMRI脳活動によって駆動される)を用いて、静的画像を現実的にアニメーションすることができることを示す。 既存のビデオエンコーダは、ビデオ画像からfMRI脳活動を予測するために微調整が可能であり、画像エンコーダよりも効果的に行うことができる。 この基礎研究は、人間の脳がどのように視覚情報を動的に処理するかを解釈するための、新しく拡張可能な枠組みを提供する。

関連論文リスト

• X-Dyna: Expressive Dynamic Human Image Animation [49.896933584815926]
  X-Dynaは、単一の人間のイメージをアニメーションするための、ゼロショットで拡散ベースのパイプラインである。 対象と周辺環境の両方に対して現実的でコンテキスト対応のダイナミクスを生成する。
  論文  参考訳（メタデータ） (2025-01-17T08:10:53Z)
• Aligning Neuronal Coding of Dynamic Visual Scenes with Foundation Vision Models [2.790870674964473]
  自己教師型視覚変換器(ViT)を用いた時空間畳み込みニューラルネットワークVi-STを提案する。 提案したVi-STは,脳内動的視覚シーンのニューロンコーディングのための新しいモデリングフレームワークである。
  論文  参考訳（メタデータ） (2024-07-15T14:06:13Z)
• Animate Your Thoughts: Decoupled Reconstruction of Dynamic Natural Vision from Slow Brain Activity [13.04953215936574]
  脳活動から人間のダイナミックビジョンを再構築する2段階モデルMind-Animatorを提案する。 fMRIの段階では,fMRIから意味的,構造的,運動的特徴を分離する。 機能とビデオの段階では、これらの機能はインフレータブル拡散(Stable Diffusion)を使ってビデオに統合される。
  論文  参考訳（メタデータ） (2024-05-06T08:56:41Z)
• DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors [63.43133768897087]
  オープンドメイン画像をアニメーションビデオに変換する手法を提案する。 鍵となるアイデアは、画像を生成プロセスに組み込むことで、テキストからビデオへの拡散モデルに先立っての動きを活用することである。 提案手法は視覚的に説得力があり、より論理的で自然な動きが得られ、入力画像への適合性が向上する。
  論文  参考訳（メタデータ） (2023-10-18T14:42:16Z)
• Cinematic Mindscapes: High-quality Video Reconstruction from Brain Activity [0.0]
  我々は,Mind-Videoを用いて,任意のフレームレートで高品質な映像を再構成可能であることを示す。 また,我々のモデルは,確立された生理的過程を反映し,生物学的に妥当かつ解釈可能であることも示している。
  論文  参考訳（メタデータ） (2023-05-19T13:44:25Z)
• Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
  本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。 提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。 生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-19T09:57:19Z)
• Modelling Human Visual Motion Processing with Trainable Motion Energy Sensing and a Self-attention Network [1.9458156037869137]
  本稿では,生体とコンピュータの視覚モデルとのギャップを埋めることで,人間の動作知覚のイメージ計算可能なモデルを提案する。 このモデルアーキテクチャは、生体視覚システムにおける運動知覚のコア構造であるV1-MTの計算を捉えることを目的としている。 サイリコ神経生理学では、我々のモデルの単位応答は、運動プーリングやスピードチューニングに関する哺乳類の神経記録に類似していることが明らかになっている。
  論文  参考訳（メタデータ） (2023-05-16T04:16:07Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)
• Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
  本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。 私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
  論文  参考訳（メタデータ） (2020-12-17T17:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。