論文の概要: Neural Foundations of Mental Simulation: Future Prediction of Latent
Representations on Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2305.11772v2
- Date: Wed, 25 Oct 2023 15:34:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 21:04:36.801450
- Title: Neural Foundations of Mental Simulation: Future Prediction of Latent
Representations on Dynamic Scenes
- Title（参考訳）: 精神シミュレーションの神経基盤--動的シーンにおける潜在表現の将来予測
- Authors: Aran Nayebi, Rishi Rajalingham, Mehrdad Jazayeri, Guangyu Robert Yang
- Abstract要約: 我々は、目標駆動型モデリングアプローチと高密度神経生理学的データと人間の行動的読み出しを組み合わせることで、この問題を阻害する。
具体的には,豊かで倫理的に関連のある環境の将来の状態を予測するために,知覚認知ネットワークのいくつかのクラスを構築し,評価する。
これらのモデルクラス間での強い差別化は、さまざまな環境内と環境内の両方で、神経的および行動的データを予測できる能力である。
- 参考スコア（独自算出の注目度）: 3.2744507958793143
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Humans and animals have a rich and flexible understanding of the physical
world, which enables them to infer the underlying dynamical trajectories of
objects and events, plausible future states, and use that to plan and
anticipate the consequences of actions. However, the neural mechanisms
underlying these computations are unclear. We combine a goal-driven modeling
approach with dense neurophysiological data and high-throughput human
behavioral readouts to directly impinge on this question. Specifically, we
construct and evaluate several classes of sensory-cognitive networks to predict
the future state of rich, ethologically-relevant environments, ranging from
self-supervised end-to-end models with pixel-wise or object-centric objectives,
to models that future predict in the latent space of purely static image-based
or dynamic video-based pretrained foundation models. We find strong
differentiation across these model classes in their ability to predict neural
and behavioral data both within and across diverse environments. In particular,
we find that neural responses are currently best predicted by models trained to
predict the future state of their environment in the latent space of pretrained
foundation models optimized for dynamic scenes in a self-supervised manner.
Notably, models that future predict in the latent space of video foundation
models that are optimized to support a diverse range of sensorimotor tasks,
reasonably match both human behavioral error patterns and neural dynamics
across all environmental scenarios that we were able to test. Overall, these
findings suggest that the neural mechanisms and behaviors of primate mental
simulation are thus far most consistent with being optimized to future predict
on dynamic, reusable visual representations that are useful for Embodied AI
more generally.
- Abstract（参考訳）: 人間と動物は、物理的世界に対する豊かで柔軟な理解を持ち、それによって、オブジェクトやイベントの動的軌跡を推測し、その将来状態を説明し、行動の結果を計画し予測することができる。
しかし、これらの計算の根底にある神経機構は不明である。
我々は,目標駆動型モデリング手法と高次神経生理学的データを組み合わせることで,この問題を直接的に阻害する。
具体的には,ピクセル指向やオブジェクト中心の目的を持った自己教師付きエンドツーエンドモデルから,静的イメージベースや動的ビデオベースの基礎モデルの潜在空間で将来予測されるモデルまで,リッチで倫理的な関係のある環境の将来状態を予測するための,知覚認知ネットワークのいくつかのクラスを構築し,評価する。
これらのモデルクラスにまたがる強い差別化は、さまざまな環境内および環境間で、神経および行動データを予測できる能力にある。
特に, 神経反応は, 動的シーンに最適化された基礎モデルの潜在空間において, 環境の将来状態を予測するように訓練されたモデルによって現在最もよく予測されている。
特に、ビデオファウンデーションモデルの潜在領域で将来予測されるモデルは、さまざまなセンサーモジュレータタスクをサポートするように最適化され、テスト可能なすべての環境シナリオにおいて、人間の行動エラーパターンと神経動力学の両方に適しています。
全体としては、霊長類の精神シミュレーションの神経機構と行動は、より一般的にエンボダイドAIに有用な、動的で再利用可能な視覚表現の将来の予測に最適化されることと最も一致していることが示唆されている。
関連論文リスト
- Scientific machine learning in ecological systems: A study on the predator-prey dynamics [1.4633779950109127]
我々は、学習データやニューラルネットワークにのみ依存して、システムの事前の知識なしに、基礎となる微分方程式を明らかにすることを目指している。
本稿では,LotkaVolterraシステムの予測と予測に,Neural ODEとUDEの両方を効果的に活用できることを実証する。
基礎となるダイナミクスを効果的に回復し、トレーニングデータを大幅に減らして正確な予測を行うことで、UDEがニューラルODEより優れているかを観察した。
論文 参考訳（メタデータ） (2024-11-11T10:40:45Z) - GaussianPrediction: Dynamic 3D Gaussian Prediction for Motion Extrapolation and Free View Synthesis [71.24791230358065]
動的シーンモデリングと将来のシナリオ合成により,3次元ガウス表現を実現する新しいフレームワークを提案する。
GaussianPredictionは、ダイナミックなシーンのビデオ観察を使用して、あらゆる視点から将来の状態を予測できる。
本フレームワークは,合成データセットと実世界のデータセットの両方で優れた性能を示し,将来の環境の予測とレンダリングの有効性を示す。
論文 参考訳（メタデータ） (2024-05-30T06:47:55Z) - Learning Physical Dynamics for Object-centric Visual Prediction [7.395357888610685]
視覚シーンの基盤となるダイナミクスをモデル化し、未来についての理屈をモデル化する能力は、人間の知性の中心である。
本稿では,オブジェクト間の視覚的ダイナミクスを学習することにより,将来予測を行う,教師なしオブジェクト中心予測モデルを提案する。
論文 参考訳（メタデータ） (2024-03-15T07:45:25Z) - ContPhy: Continuum Physical Concept Learning and Reasoning from Videos [86.63174804149216]
ContPhyは、マシン物理常識を評価するための新しいベンチマークである。
私たちは、さまざまなAIモデルを評価し、ContPhyで満足なパフォーマンスを達成するのに依然として苦労していることがわかった。
また、近年の大規模言語モデルとパーティクルベースの物理力学モデルを組み合わせるためのオラクルモデル(ContPRO)を導入する。
論文 参考訳（メタデータ） (2024-02-09T01:09:21Z) - A Neuro-Symbolic Approach for Enhanced Human Motion Prediction [5.742409080817885]
人間の動作予測のためのニューロシンボリックアプローチ(NeuroSyM)を提案する。
NeuroSyMは、質的軌道計算(QTC)と呼ばれる空間表現に直感的手法を活用することにより、近隣の相互作用を異なる重み付けする
実験の結果,NeuroSyMアプローチは,ほとんどの場合,予測精度においてベースラインアーキテクチャよりも優れていた。
論文 参考訳（メタデータ） (2023-04-23T20:11:40Z) - Predictive Experience Replay for Continual Visual Control and
Forecasting [62.06183102362871]
視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。
まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。
我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
論文 参考訳（メタデータ） (2023-03-12T05:08:03Z) - Learn to Predict How Humans Manipulate Large-sized Objects from
Interactive Motions [82.90906153293585]
本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。
動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
論文 参考訳（メタデータ） (2022-06-25T09:55:39Z) - Physion: Evaluating Physical Prediction from Vision in Humans and
Machines [46.19008633309041]
我々は、この能力を正確に測定する視覚的および身体的予測ベンチマークを示す。
我々は、様々な物理予測を行う能力について、アルゴリズムの配列を比較した。
物理的な状態にアクセス可能なグラフニューラルネットワークは、人間の振る舞いを最もよく捉えている。
論文 参考訳（メタデータ） (2021-06-15T16:13:39Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - Visual Grounding of Learned Physical Models [66.04898704928517]
人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。
我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。
実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
論文 参考訳（メタデータ） (2020-04-28T17:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。