論文の概要: Future Video Generation Better Aligns with the Human Visual Cortex than Observed Video

• arxiv url: http://arxiv.org/abs/2609.38819v1
• Date: Wed, 30 Sep 2026 02:45:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.053488
• Title: Future Video Generation Better Aligns with the Human Visual Cortex than Observed Video
• Title（参考訳）: 未来のビデオは、観察されたビデオよりも人間の視覚皮質と相性が良い
• Abstract要約: 将来のビデオフレームを生成するための内部表現は、観察されたビデオ自体の表現よりも人間の視覚処理の予測的性質に適合する。 人間の行動実験では、視覚野とよりよく整合する個々のレイヤーの寄与を増幅することで、人間が生成したビデオを好むことが示されている。
• 参考スコア（独自算出の注目度）: 15.30022031419268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Studying the alignment between the internal representations of vision models and the responses of the visual cortex to the same observed visual stimuli has enabled us to better understand human visual processing. However, studies so far have largely overlooked the fact that the human brain not only processes observed visual stimuli, but also predicts upcoming stimuli based on what has been observed. Accordingly, we hypothesize that internal representations for generating future video frames are better aligned with the predictive nature of human visual processing than representations of the observed video itself. To this end, we compare the alignment between human video-watching fMRI responses in the visual cortex and the internal representations from two types of video diffusion models, an autoregressive (AR) model and its non-AR base model. We first conduct a within-model analysis of the AR video diffusion model and show that the representations for future video generation align better with the visual cortex than the representations of the observed video. We then compare the internal representations of the AR model with those of its non-AR base model and again show that the representations for future video generation align better with the visual cortex than the representations for observed video reconstruction by the base model. Specifically, the alignment of observed video reconstruction is concentrated in lower-order visual cortex, whereas that of future video generation is concentrated in higher-order visual cortex. Finally, we show in a human behavioral experiment that humans prefer videos generated by amplifying the contributions of individual layers that align better with the visual cortex.
• Abstract（参考訳）: 視覚モデルの内部表現と、同じ観察された視覚刺激に対する視覚野の反応のアライメントを研究することで、人間の視覚処理をより理解できるようになった。 しかし、これまでの研究では、人間の脳が視覚刺激を観察するプロセスだけでなく、観察されたことに基づいて次の刺激を予測しているという事実がほとんど見過ごされている。 そこで我々は、将来の映像フレームを生成するための内部表現が、観察された映像自体の表現よりも人間の視覚処理の予測的性質に適合しているという仮説を立てた。 この目的のために、視覚野における人間のビデオ視聴fMRI応答と、2種類のビデオ拡散モデル、自己回帰(AR)モデルとその非ARベースモデルの内部表現とのアライメントを比較した。 まずARビデオ拡散モデルの内部モデル解析を行い、将来のビデオ生成の表現が観察されたビデオの表現よりも視覚野とよく一致していることを示す。 次に、ARモデルの内部表現とARでないベースモデルとを比較し、将来のビデオ生成の表現が、ベースモデルによる観察ビデオ再構成の表現よりも視覚野と整合していることを示す。 特に、観察された映像再構成のアライメントは低次視覚野に集中しているが、将来の映像生成のアライメントは高次視覚野に集中している。 最後に、人間の行動実験において、視覚野によく適合する個々のレイヤーの寄与を増幅することで、人間が生み出すビデオを好むことを示す。

関連論文リスト

• Video Generation Models are General-Purpose Vision Learners [62.28137589984863]
  我々は、大規模なテキスト・ビデオ生成がコンピュータビジョンのための強力な事前学習パラダイムであると主張している。 我々は、予め訓練されたビデオ拡散バックボーンを利用してフィードフォワード知覚モデルを定義するGenCeptionを紹介する。 実証的な結果から、GenCeptionは様々なタスクで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-07-10T01:09:06Z)
• From Image to Video: An Empirical Study of Diffusion Representations [37.09795196423048]
  拡散モデルは生成モデルに革命をもたらし、画像合成やビデオ合成において前例のないリアリズムを可能にした。 この研究は、視覚的理解のための映像と画像の拡散目標の直接比較として初めて行われ、表現学習における時間情報の役割についての洞察を提供する。
  論文  参考訳（メタデータ） (2025-02-10T19:53:46Z)
• WonderHuman: Hallucinating Unseen Parts in Dynamic 3D Human Reconstruction [63.666166249633385]
  我々はWonderHumanをモノクラービデオから再構成し、高忠実なノベルビューの合成を行う。 提案手法は,与えられたモノクロ映像からフォトリアリスティックなレンダリングを生成する場合のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2025-02-03T04:43:41Z)
• Human Gaze Boosts Object-Centered Representation Learning [7.473473243713322]
  近年の自己教師型学習モデルでは、人間に比べて画像認識のタスクにおいて、人間のような自我中心の視覚入力が著しく劣っている。 本稿では,中心的な視覚情報に焦点を合わせることで,自己中心型視覚学習が促進されるかどうかを検討する。 我々の実験は、中心的なビジョンに焦点を合わせることで、オブジェクト中心の表現がより良くなることを示した。
  論文  参考訳（メタデータ） (2025-01-06T12:21:40Z)
• VisionReward: Fine-Grained Multi-Dimensional Human Preference Learning for Image and Video Generation [70.68566282567207]
  画像生成と映像生成の両方において人間の視覚的嗜好を学習するためのフレームワークであるVisionRewardを紹介する。 VisionRewardは、マシンメトリクスと人的評価の両方において、既存の画像およびビデオ報酬モデルを大幅に上回ることができる。
  論文  参考訳（メタデータ） (2024-12-30T16:24:09Z)
• pAE: An Efficient Autoencoder Architecture for Modeling the Lateral Geniculate Nucleus by Integrating Feedforward and Feedback Streams in Human Visual System [0.716879432974126]
  本稿では,人間の視覚情報処理を近似した深部畳み込みモデルを提案する。 本研究の目的は、訓練された浅部畳み込みモデルを用いて、外側原核(LGN)領域の機能を近似することである。 pAEモデルは最終99.26%の予測性能を達成し、時間モードでの人間の結果よりも約28%向上したことを示す。
  論文  参考訳（メタデータ） (2024-09-20T16:33:01Z)
• Diffused Heads: Diffusion Models Beat GANs on Talking-Face Generation [54.68893964373141]
  顔の生成は、これまで、追加の参照ビデオからのガイダンスなしで、頭の動きや自然な表情を作り出すのに苦労してきた。 拡散に基づく生成モデルの最近の発展は、より現実的で安定したデータ合成を可能にする。 本稿では,現実的な人間の頭部の映像を生成するために,1つのアイデンティティ画像と音声シーケンスのみを必要とする自己回帰拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-01-06T14:16:54Z)
• Human Eyes Inspired Recurrent Neural Networks are More Robust Against Adversarial Noises [7.689542442882423]
  我々は人間の脳にインスパイアされたデュアルストリーム視覚モデルを設計した。 このモデルは網膜のような入力層を特徴とし、次の焦点(固定点)を決定する2つのストリームと、固定点を取り巻く視覚を解釈する2つのストリームを含む。 このモデルを,物体認識,視線行動,対向強靭性の観点から評価した。
  論文  参考訳（メタデータ） (2022-06-15T03:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。