論文の概要: A Penny for Your (visual) Thoughts: Self-Supervised Reconstruction of
Natural Movies from Brain Activity
- arxiv url: http://arxiv.org/abs/2206.03544v2
- Date: Thu, 9 Jun 2022 01:16:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-10 11:00:25.234782
- Title: A Penny for Your (visual) Thoughts: Self-Supervised Reconstruction of
Natural Movies from Brain Activity
- Title（参考訳）: 脳の活動から自然界の映画を自己監督で再現する(動画あり)
- Authors: Ganit Kupershmidt, Roman Beliy, Guy Gaziv, Michal Irani
- Abstract要約: 自然運動再建のための自己教師型アプローチを提案する。
トレーニングビデオのフレームレートをフル活用し、fMRI記録に対応するクリップに限らない。
さらにfMRIデコーダに折り畳むと、フレームレートの高い動画を再構築することができます。
- 参考スコア（独自算出の注目度）: 9.176056742068813
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reconstructing natural videos from fMRI brain recordings is very challenging,
for two main reasons: (i) As fMRI data acquisition is difficult, we only have a
limited amount of supervised samples, which is not enough to cover the huge
space of natural videos; and (ii) The temporal resolution of fMRI recordings is
much lower than the frame rate of natural videos. In this paper, we propose a
self-supervised approach for natural-movie reconstruction. By employing
cycle-consistency over Encoding-Decoding natural videos, we can: (i) exploit
the full framerate of the training videos, and not be limited only to clips
that correspond to fMRI recordings; (ii) exploit massive amounts of external
natural videos which the subjects never saw inside the fMRI machine. These
enable increasing the applicable training data by several orders of magnitude,
introducing natural video priors to the decoding network, as well as temporal
coherence. Our approach significantly outperforms competing methods, since
those train only on the limited supervised data. We further introduce a new and
simple temporal prior of natural videos, which - when folded into our fMRI
decoder further - allows us to reconstruct videos at a higher frame-rate (HFR)
of up to x8 of the original fMRI sample rate.
- Abstract（参考訳）: fMRI脳波記録から自然映像を再構成するのは、大きな2つの理由から非常に難しい。
(i)fMRIデータ取得が困難であるため、監視対象のサンプルは限られており、天然ビデオの膨大な空間をカバーするには不十分である。
(II)fMRI記録の時間分解能は天然ビデオのフレームレートよりもはるかに低い。
本稿では,自然運動再建のための自己教師型アプローチを提案する。
自然ビデオのエンコーディング・デコードよりもサイクルコンシスタンスを採用することで、次のことができる。
(i)トレーニングビデオの全フレームレートを利用して、fMRI記録に対応するクリップに限らない。
(II)fMRI装置内では見たことのない大量の外部天然ビデオを利用する。
これにより、適用可能なトレーニングデータを数桁増やし、デコードネットワークに先立って自然なビデオを導入すると同時に、時間的コヒーレンスも実現する。
我々の手法は、限られた教師付きデータにのみ依存するため、競合する手法よりも優れている。
私たちはさらに、自然ビデオの新しい簡単な時間的プリミティブを導入し、さらにfmriデコーダに折り畳むと、元のfmriサンプルレートの最大x8のフレームレート(hfr)でビデオを再構築できるようになりました。
関連論文リスト
- NeuroClips: Towards High-fidelity and Smooth fMRI-to-Video Reconstruction [29.030311713701295]
我々は,fMRIから高忠実度・スムーズな映像をデコードする革新的なフレームワークであるNeuroClipsを提案する。
NeuroClipsは、ビデオの再構成にセマンティックサクタを使用し、セマンティックの精度と一貫性を誘導し、低レベルの知覚の詳細を捉えるために知覚再構成器を使用する。
NeuroClipsは8FPSで最大6秒のスムーズな高忠実度ビデオ再構成を実現する。
論文 参考訳（メタデータ） (2024-10-25T10:28:26Z) - Fully Unsupervised Dynamic MRI Reconstruction via Diffeo-Temporal Equivariance [2.260147251787331]
教師付き学習法は周期性を前提として欠陥があり、真の動きの撮像を禁止している。
我々は,アンサンプド計測のみから動的MRIシーケンスを再構築するための教師なしフレームワークを提案する。
我々の手法は基盤となるニューラルネットワークアーキテクチャに非依存であり、最新のパラダイムや後処理アプローチに適応するために使用することができる。
論文 参考訳（メタデータ） (2024-10-11T09:16:30Z) - Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models [53.235170710385006]
我々は,特定の映像モーメントをきめ細かな方法で知覚・推論できる新しいビデオLLMであるGrounded-VideoLLMを紹介した。
我々は,(1)フレーム間の関係を符号化する追加の時間的ストリームと(2)特定の時間的知識に富んだ離散的な時間的トークンを組み込むことで,モデルを洗練する。
実験では, 時間文の接地, ビデオキャプションの密接化, ビデオQAの接地といった, きめ細かい接地作業に優れていた。
論文 参考訳（メタデータ） (2024-10-04T10:04:37Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳（メタデータ） (2024-03-27T02:42:52Z) - Investigating the use of publicly available natural videos to learn
Dynamic MR image reconstruction [0.0]
DLアーキテクチャの学習(VarNet, 3D UNet, FastDVDNet)
リアルタイムアンサンプされた動的MR画像は、心臓データと自然ビデオで訓練されたDLネットワークを用いて再構成された。
心的データを用いたDL法とナチュラルビデオで高SSIMを測定した。
論文 参考訳（メタデータ） (2023-11-23T12:24:02Z) - Progressive Fourier Neural Representation for Sequential Video
Compilation [75.43041679717376]
連続学習によって動機づけられたこの研究は、シーケンシャルエンコーディングセッションを通じて、複数の複雑なビデオデータに対して、ニューラル暗黙表現を蓄積し、転送する方法を研究する。
本稿では,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という手法を提案する。
我々は,UVG8/17とDAVIS50のビデオシーケンスベンチマークでPFNR法を検証し,強力な連続学習ベースラインよりも優れた性能向上を実現した。
論文 参考訳（メタデータ） (2023-06-20T06:02:19Z) - Just a Glimpse: Rethinking Temporal Information for Video Continual
Learning [58.7097258722291]
個別フレームと単一フレームに基づく効果的なビデオ連続学習のための新しい再生機構を提案する。
極端な記憶の制約の下では、ビデオの多様性は時間的情報よりも重要な役割を果たす。
提案手法は最先端性能を実現し,従来の最先端性能を最大21.49%向上させる。
論文 参考訳（メタデータ） (2023-05-28T19:14:25Z) - Natural scene reconstruction from fMRI signals using generative latent
diffusion [1.90365714903665]
我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。
第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。
第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
論文 参考訳（メタデータ） (2023-03-09T15:24:26Z) - VideoINR: Learning Video Implicit Neural Representation for Continuous
Space-Time Super-Resolution [75.79379734567604]
ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。
本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
論文 参考訳（メタデータ） (2022-06-09T17:45:49Z) - Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。
既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。
ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
論文 参考訳（メタデータ） (2022-04-08T03:37:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。