論文の概要: A Hierarchical Energy-Based Model for Multimodal Cognition
- arxiv url: http://arxiv.org/abs/2608.12398v1
- Date: Sat, 08 Aug 2026 00:23:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.270585
- Title: A Hierarchical Energy-Based Model for Multimodal Cognition
- Title（参考訳）: 多モード認知のための階層的エネルギーベースモデル
- Abstract要約: 本稿では,視覚と言語を統合するための階層的,エネルギーに基づくマルチモーダル認知モデルを提案する。
アーキテクチャはハブとスポークの階層であり、ビジュアルオブジェクト、シーン、言語ユニットの予測コーディングパイプラインが共有アモーダルハブに収束する。
このアーキテクチャは、意図しない盲目やネッカーキューブの不安定さといった注意現象を機械的に説明できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose IM-LEPP (Integrated Multimodal Latent Energy-based Predictive Processing), a hierarchical, energy-based model of multimodal cognition that extends a previously proposed single-modality model (LEPP) to integrate vision and language. Following the view that generative neural networks are effective theories of cognitive dynamics, analogous to how statistical mechanics relates to thermodynamics, IM-LEPP models cognition as latent states flowing through learned energy landscapes rather than as an account of neural circuitry. The architecture is a hub-and-spoke hierarchy, grounded in the controlled semantic cognition framework of Lambon Ralph et al., in which predictive-coding pipelines for visual objects, scenes, and linguistic units converge on a shared amodal hub modeled on the anterior temporal lobe. Each pipeline's own prediction is conditioned by, rather than overwritten by, the current hub state, preserving pipeline-specific identity while letting every prediction reflect the full multimodal context. We show this architecture gives a mechanistic account of attentional phenomena such as inattentional blindness and Necker-cube bistability, and that its structure recovers or motivates independently established findings in psycholinguistics, including surprisal theory, the N400/P600 ERP components, and garden-path reanalysis, alongside a falsifiable contrast with transformer language models on trajectory-sensitivity in next-word prediction. We also discuss data-efficient language acquisition relative to LLMs, outline a semantic/episodic memory subsystem, situate the model against predictive coding, the free-energy principle, JEPA, and Hierarchical Temporal Memory, and propose concrete experimental predictions to test its central claims Key Words: predictive processing; predictive coding; energy-based models; diffusion models; effective theory; computational neuroscience.
- Abstract（参考訳）: 本稿では, IM-LEPP(Integrated Multimodal Latent Energy-based Predictive Processing)を提案する。
生成型ニューラルネットワークは認知力学の効果的な理論であり、統計力学が熱力学とどのように関連するかに類似しているという見解に従うと、IM-LEPPは神経回路の説明ではなく、学習されたエネルギー景観を流れる潜在状態として認知をモデル化する。
アーキテクチャはハブ・アンド・スポークの階層であり、ランボン・ラルフらによる制御された意味認知の枠組みに基づいており、前頭側頭葉をモデル化した共有アモーダルハブに視覚オブジェクト、シーン、言語単位の予測符号化パイプラインが収束する。
各パイプライン独自の予測は、現在のハブ状態によって上書きされるのではなく、パイプライン固有のアイデンティティを保持しながら、すべての予測が完全なマルチモーダルコンテキストを反映するように条件付けされる。
このアーキテクチャは、意図しない盲目やネッカーキューブの不安定性などの注意現象を機械的に説明し、その構造は、次単語予測における軌跡感に関するトランスフォーマー言語モデルとのファリザブルコントラストとともに、仮定理論、N400/P600ERPコンポーネント、ガーデンパス再分析など、精神言語学において独立に確立された発見を回復または動機づけることを示した。
また、LLMに対するデータ効率の高い言語獲得についても論じ、セマンティック/エポゾディックなメモリサブシステムの概要、予測符号化、自由エネルギー原理、JEPA、階層的時間記憶に対するモデルを定式化し、その中心的主張をテストするための具体的な実験的予測を提案し、キーワード:予測処理、予測符号化、エネルギーベースモデル、拡散モデル、有効理論、計算神経科学を提案する。
関連論文リスト
- Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes [57.55143519213221]
我々は,マルチモーダル事前学習の体系的な探索を通じて,経験的明瞭度を提供する。
人工および大規模実世界のデータセットに関する我々の実験は、マルチモーダルプレトレーニングの物理に関する4つの重要な洞察をもたらす。
論文 参考訳（メタデータ） (2026-08-05T16:09:25Z) - Large Vision-Language Models Get Lost in Attention [51.851592109135716]
本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。
注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
論文 参考訳（メタデータ） (2026-05-07T04:45:52Z) - OMNIFLOW: A Physics-Grounded Multimodal Agent for Generalized Scientific Reasoning [51.33849811496781]
大規模言語モデル (LLM) は例外的な論理的推論能力を示しているが、部分微分方程式 (PDE) による連続力学としばしば競合する。
OMNIFLOWは, 領域固有のパラメータ更新を必要とせず, 基本物理法則で凍結LDMを基底として設計したマルチモーダルシンボリックアーキテクチャである。
我々は, 微視的乱流, 理論的ナビエ・ストークス, マクロ的世界天気予報のベンチマークでこれを評価した。
論文 参考訳（メタデータ） (2026-03-16T18:29:01Z) - Beyond Language Modeling: An Exploration of Multimodal Pretraining [125.34714978184638]
我々は、制御されたオフスクラッチ事前学習実験を通して経験的明瞭度を提供する。
我々はトランスフュージョン・フレームワークを採用し、言語と視覚の拡散を次々に予測する。
我々は、MoEアーキテクチャが、言語によって要求される高いモデル容量を提供することにより、このスケーリング非対称性を調和させることを実証する。
論文 参考訳（メタデータ） (2026-03-03T18:58:00Z) - Structure and Redundancy in Large Language Models: A Spectral Study via Random Matrix Theory [0.0]
この論文は、現代のディープラーニング、信頼性、効率性において、永続的で密接に関連する2つの課題に対処する。
層と入力間の隠れアクティベーションの固有値ダイナミクスを解析することにより、スペクトル統計学がモデル挙動にコンパクトで安定で解釈可能なレンズを提供することを示す。
このフレームワーク内では、最初のコントリビューションであるEigenTrackが、大規模言語と視覚言語モデルにおける幻覚とアウト・オブ・ディストリビューションの振る舞いをリアルタイムに検出する手法を導入した。
第二の貢献である RMT-KD は、ランダム行列理論知識蒸留によるディープネットワークの圧縮に対する原則的なアプローチを示す。
論文 参考訳（メタデータ） (2026-02-25T19:11:56Z) - NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。
NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。
さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
論文 参考訳（メタデータ） (2025-10-15T16:25:18Z) - Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。
ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。
実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
論文 参考訳（メタデータ） (2025-03-16T00:25:13Z) - Predictive Learning in Energy-based Models with Attractor Structures [5.542697199599134]
本稿では、エネルギーベースモデル(EBM)を用いて、ニューラルシステム内の動作後の観測を予測するための微妙なプロセスをキャプチャするフレームワークを提案する。
実験による評価では,様々なシナリオにまたがって有効性を示す。
論文 参考訳（メタデータ） (2025-01-23T11:04:25Z) - Transformers from Diffusion: A Unified Framework for Neural Message Passing [79.9193447649011]
メッセージパッシングニューラルネットワーク(MPNN)は、デファクトクラスのモデルソリューションとなっている。
本稿では,拡散の誘導バイアスとエネルギーの層的制約を統合するエネルギー制約拡散モデルを提案する。
これらの知見に基づいて、我々はTransformer (DIFFormer)と呼ばれる新しいタイプのメッセージパッシングモデルを考案した。
論文 参考訳（メタデータ） (2024-09-13T17:54:41Z) - Differentiable Generalised Predictive Coding [2.868176771215219]
本稿では,脳の機能を内部生成モデルの階層的洗練とみなすニューラルプロセス理論と相反する,微分可能な力学モデルについて述べる。
我々の研究は、勾配に基づく予測符号化の既存の実装を拡張し、非線形状態パラメータ化のためのディープニューラルネットワークを統合することができる。
論文 参考訳（メタデータ） (2021-12-02T22:02:56Z) - On Energy-Based Models with Overparametrized Shallow Neural Networks [44.74000986284978]
エネルギーベースモデル(EBM)は、ジェネレーションモデリングの強力なフレームワークです。
この研究では、浅いニューラルネットワークに焦点を当てます。
我々は、いわゆる「アクティブ」体制で訓練されたモデルが、関連する「怠慢」またはカーネル体制に対して統計的に有利であることを示す。
論文 参考訳（メタデータ） (2021-04-15T15:34:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。