論文の概要: Cognitively Inspired Energy-Based World Models

• arxiv url: http://arxiv.org/abs/2406.08862v1
• Date: Thu, 13 Jun 2024 06:54:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 19:03:54.700923
• Title: Cognitively Inspired Energy-Based World Models
• Title（参考訳）: 認知にインスパイアされたエネルギーベース世界モデル
• Authors: Alexi Gladstone, Ganesh Nanduru, Md Mofijul Islam, Aman Chadha, Jundong Li, Tariq Iqbal,
• Abstract要約: エネルギーベース世界モデル(EBWM)を紹介する。 EBWMは、与えられたコンテキストと予測される将来の状態の互換性を予測するために、エネルギーベースモデル(EBM)を訓練する。 我々は、EBT(Energy-Based Transformer)と呼ばれる従来の自己回帰変換器の変種を開発する。
• 参考スコア（独自算出の注目度）: 40.08174759225766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the predominant methods for training world models is autoregressive prediction in the output space of the next element of a sequence. In Natural Language Processing (NLP), this takes the form of Large Language Models (LLMs) predicting the next token; in Computer Vision (CV), this takes the form of autoregressive models predicting the next frame/token/pixel. However, this approach differs from human cognition in several respects. First, human predictions about the future actively influence internal cognitive processes. Second, humans naturally evaluate the plausibility of predictions regarding future states. Based on this capability, and third, by assessing when predictions are sufficient, humans allocate a dynamic amount of time to make a prediction. This adaptive process is analogous to System 2 thinking in psychology. All these capabilities are fundamental to the success of humans at high-level reasoning and planning. Therefore, to address the limitations of traditional autoregressive models lacking these human-like capabilities, we introduce Energy-Based World Models (EBWM). EBWM involves training an Energy-Based Model (EBM) to predict the compatibility of a given context and a predicted future state. In doing so, EBWM enables models to achieve all three facets of human cognition described. Moreover, we developed a variant of the traditional autoregressive transformer tailored for Energy-Based models, termed the Energy-Based Transformer (EBT). Our results demonstrate that EBWM scales better with data and GPU Hours than traditional autoregressive transformers in CV, and that EBWM offers promising early scaling in NLP. Consequently, this approach offers an exciting path toward training future models capable of System 2 thinking and intelligently searching across state spaces.
• Abstract（参考訳）: 世界モデルをトレーニングする主要な方法の1つは、シーケンスの次の要素の出力空間における自己回帰予測である。 自然言語処理 (NLP) では、これは次のトークンを予測するLarge Language Models (LLM) の形をとり、コンピュータビジョン (CV) では、次のフレーム/トークン/ピクセルを予測する自動回帰モデルの形を取る。 しかし、このアプローチは人間の認識とはいくつかの点で異なる。 第一に、未来に関する人間の予測は、内的認知プロセスに積極的に影響を及ぼす。 第二に、人間は将来の状態に関する予測の妥当性を自然に評価する。 この能力と第3の能力に基づいて、予測が十分であるかどうかを評価することで、人間は予測を行うために動的な時間を割り当てる。 この適応過程は、心理学におけるシステム2の思考に類似している。 これらの能力は、高いレベルの推論と計画において、人間の成功に不可欠である。 そこで, 従来の自己回帰モデルでは, 人間の能力に欠ける限界に対処するため, エネルギーベース世界モデル(EBWM)を導入する。 EBWMは、与えられたコンテキストと予測される将来の状態の互換性を予測するために、エネルギーベースモデル(EBM)を訓練する。 そうすることで、EBWMはモデルが記述された人間の認知の3つの面すべてを達成することができる。 さらに,エネルギーベーストランス(EBT)と呼ばれるエネルギーベースモデルに適した,従来の自己回帰変換器の変種を開発した。 以上の結果から,EBWMは従来のCVの自己回帰変換器よりもデータやGPU時間でのスケーリングが優れていることが示され,EBWMはNLPの早期スケーリングを有望に提供している。 したがって、このアプローチは、システム2の思考と状態空間をインテリジェントに探索できる将来のモデルをトレーニングするためのエキサイティングな道を提供する。

関連論文リスト

• Humans and language models diverge when predicting repeating text [52.03471802608112]
  我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。 人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。 このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
  論文  参考訳（メタデータ） (2023-10-10T08:24:28Z)
• Revisiting Energy Based Models as Policies: Ranking Noise Contrastive Estimation and Interpolating Energy Models [18.949193683555237]
  本研究では,エネルギーベースモデル (EBM) の選択を政策クラスとして再考する。 我々は,いくつかの重要な要素を組み合わせたエネルギーモデルのための学習目標とアルゴリズムを開発する。 Inlicit Behavior Cloning (IBC) の目的が実際に人口レベルでも偏っていることを示す。
  論文  参考訳（メタデータ） (2023-09-11T20:13:47Z)
• Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
  人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。 モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:45:21Z)
• Neural Foundations of Mental Simulation: Future Prediction of Latent Representations on Dynamic Scenes [3.2744507958793143]
  我々は、目標駆動型モデリングアプローチと高密度神経生理学的データと人間の行動的読み出しを組み合わせることで、この問題を阻害する。 具体的には,豊かで倫理的に関連のある環境の将来の状態を予測するために,知覚認知ネットワークのいくつかのクラスを構築し,評価する。 これらのモデルクラス間での強い差別化は、さまざまな環境内と環境内の両方で、神経的および行動的データを予測できる能力である。
  論文  参考訳（メタデータ） (2023-05-19T15:56:06Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Skillful Twelve Hour Precipitation Forecasts using Large Context Neural Networks [8.086653045816151]
  現在の運用予測モデルは物理に基づいており、大気をシミュレートするためにスーパーコンピュータを使用している。 ニューラルネットワークに基づく新しい気象モデルのクラスは、天気予報のパラダイムシフトを表している。 最大12時間前に降水予測が可能なニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-11-14T22:53:04Z)
• Transformers for prompt-level EMA non-response prediction [62.41658786277712]
  エコロジー・モメンタリー・アセスメント(Ecological Momentary Assessments、EMA)は、認知状態、影響、行動、環境要因を測定するための重要な心理的データ源である。 参加者がEMAプロンプトに反応しない非応答は、内因性問題である。 非応答を正確に予測できる能力は、EMAのデリバリを改善し、コンプライアンスの介入を開発するために利用することができる。
  論文  参考訳（メタデータ） (2021-11-01T18:38:47Z)
• Probabilistic Human Motion Prediction via A Bayesian Neural Network [71.16277790708529]
  本稿では,人間の動作予測のための確率モデルを提案する。 我々のモデルは、観測された動きシーケンスが与えられたときに、いくつかの将来の動きを生成することができる。 我々は、大規模ベンチマークデータセットHuman3.6mに対して、我々のアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2021-07-14T09:05:33Z)
• Multimodal Deep Generative Models for Trajectory Prediction: A Conditional Variational Autoencoder Approach [34.70843462687529]
  本研究では,人間の行動予測に対する条件付き変分オートエンコーダアプローチに関する自己完結型チュートリアルを提供する。 本チュートリアルの目的は,人間の行動予測における最先端の手法の分類をレビューし,構築することである。
  論文  参考訳（メタデータ） (2020-08-10T03:18:27Z)
• Predicting human decisions with behavioral theories and machine learning [13.000185375686325]
  BEAST Gradient Boosting (BEAST-GB) は,行動理論を機械学習技術と相乗する新しいハイブリッドモデルである。 BEAST-GBは,人的リスク選択のデータセットとして最大規模で,最先端のパフォーマンスを実現していることを示す。 また、BEAST-GBは、新しい実験コンテキストにおける選択の振る舞いを効果的に予測するため、堅牢なドメイン一般化機能を示す。
  論文  参考訳（メタデータ） (2019-04-15T06:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。