論文の概要: Linking forward-pass dynamics in Transformers and real-time human processing

• arxiv url: http://arxiv.org/abs/2504.14107v1
• Date: Fri, 18 Apr 2025 23:38:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 05:08:25.914344
• Title: Linking forward-pass dynamics in Transformers and real-time human processing
• Title（参考訳）: 変圧器におけるフォワードパスダイナミクスのリンクとリアルタイム人事処理
• Authors: Jennifer Hu, Michael A. Lepori, Michael Franke,
• Abstract要約: 本研究では,人間におけるリアルタイム処理とトランスフォーマーモデルにおける「階層的」ダイナミックスとの関係について検討する。 以上の結果から,トランスフォーマー処理と人的処理は,入力刺激の類似特性によって促進あるいは阻害されることが示唆された。
• 参考スコア（独自算出の注目度）: 6.165163123577484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern AI models are increasingly being used as theoretical tools to study human cognition. One dominant approach is to evaluate whether human-derived measures (such as offline judgments or real-time processing) are predicted by a model's output: that is, the end-product of forward pass(es) through the network. At the same time, recent advances in mechanistic interpretability have begun to reveal the internal processes that give rise to model outputs, raising the question of whether models and humans might arrive at outputs using similar "processing strategies". Here, we investigate the link between real-time processing in humans and "layer-time" dynamics in Transformer models. Across five studies spanning domains and modalities, we test whether the dynamics of computation in a single forward pass of pre-trained Transformers predict signatures of processing in humans, above and beyond properties of the model's output probability distribution. We consistently find that layer-time dynamics provide additional predictive power on top of output measures. Our results suggest that Transformer processing and human processing may be facilitated or impeded by similar properties of an input stimulus, and this similarity has emerged through general-purpose objectives such as next-token prediction or image recognition. Our work suggests a new way of using AI models to study human cognition: not just as a black box mapping stimuli to responses, but potentially also as explicit processing models.
• Abstract（参考訳）: 現代のAIモデルは、人間の認知を研究する理論的ツールとして、ますます使われている。 1つの主要なアプローチは、人間由来の測度(オフライン判定やリアルタイム処理など)がモデルの出力によって予測されるかどうかを評価することである。 同時に、機械的解釈可能性の最近の進歩は、モデル出力をもたらす内部プロセスを明らかにし始めており、モデルと人間が同様の「処理戦略」を用いて出力に到達するかどうかという疑問が提起されている。 そこで本研究では,人間におけるリアルタイム処理とトランスフォーマーモデルにおける「階層的」ダイナミックスとの関係について検討する。 領域とモダリティにまたがる5つの研究で、事前学習されたトランスフォーマーの1つの前方通過における計算のダイナミクスが、モデルの出力確率分布のより上、上、上、上において人間の処理のシグネチャを予測するかどうかを検証した。 私たちは常に、レイヤータイムのダイナミクスが出力測定にさらなる予測力をもたらすことに気付きます。 以上の結果から,トランスフォーマー処理と人為的処理は入力刺激の類似特性によって促進あるいは阻害されることが示唆され,この類似性は,次世代の予測や画像認識といった汎用的な目的によってもたらされている。 私たちの研究は、人間の認知を研究するためにAIモデルを使用する新しい方法を提案する。

関連論文リスト

• Transcendence: Generative Models Can Outperform The Experts That Train Them [55.885802048647655]
  生成モデルがデータを生成する専門家の能力を超える能力を達成するとき、超越現象を研究する。 我々は,自動回帰変換器をトレーニングして,ゲームスクリプティングからチェスを学習し,トレーニングされたモデルが,データセットのすべてのプレイヤーよりも優れたパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2024-06-17T17:00:52Z)
• Humanoid Locomotion as Next Token Prediction [84.21335675130021]
  我々のモデルは感覚運動軌道の自己回帰予測によって訓練された因果変換器である。 われわれのモデルでは、フルサイズのヒューマノイドがサンフランシスコでゼロショットで歩けることが示されている。 われわれのモデルは、わずか27時間の歩行データで訓練された場合でも現実世界に移行でき、後方歩行のような訓練中に見えないコマンドを一般化することができる。
  論文  参考訳（メタデータ） (2024-02-29T18:57:37Z)
• TransFusion: A Practical and Effective Transformer-based Diffusion Model for 3D Human Motion Prediction [1.8923948104852863]
  本研究では,3次元動作予測のための革新的で実用的な拡散モデルであるTransFusionを提案する。 我々のモデルは、浅い層と深い層の間の長いスキップ接続を持つバックボーンとしてTransformerを活用している。 クロスアテンションや適応層正規化のような余分なモジュールを利用する従来の拡散モデルとは対照的に、条件を含む全ての入力をトークンとして扱い、より軽量なモデルを作成する。
  論文  参考訳（メタデータ） (2023-07-30T01:52:07Z)
• Learning Theory of Mind via Dynamic Traits Attribution [59.9781556714202]
  本稿では,過去のトラジェクトリからアクターの潜在特性ベクトルを生成するニューラルToMアーキテクチャを提案する。 この特性ベクトルは、予測ニューラルネットワークの高速重み付けスキームを介して予測機構を乗法的に変調する。 実験により,高速重量はエージェントの特性をモデル化し,マインドリーディング能力を向上させるために優れた誘導バイアスを与えることが示された。
  論文  参考訳（メタデータ） (2022-04-17T11:21:18Z)
• HiT-DVAE: Human Motion Generation via Hierarchical Transformer Dynamical VAE [37.23381308240617]
  本稿では,階層型トランスフォーマー動的変分オートエンコーダ(HiT-DVAE)を提案する。 提案手法はHumanEva-IおよびHuman3.6Mにおいて,様々な評価手法を用いて評価し,その大部分において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-04T15:12:34Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• Probabilistic Human Motion Prediction via A Bayesian Neural Network [71.16277790708529]
  本稿では,人間の動作予測のための確率モデルを提案する。 我々のモデルは、観測された動きシーケンスが与えられたときに、いくつかの将来の動きを生成することができる。 我々は、大規模ベンチマークデータセットHuman3.6mに対して、我々のアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2021-07-14T09:05:33Z)
• Multimodal Deep Generative Models for Trajectory Prediction: A Conditional Variational Autoencoder Approach [34.70843462687529]
  本研究では,人間の行動予測に対する条件付き変分オートエンコーダアプローチに関する自己完結型チュートリアルを提供する。 本チュートリアルの目的は,人間の行動予測における最先端の手法の分類をレビューし,構築することである。
  論文  参考訳（メタデータ） (2020-08-10T03:18:27Z)
• Learning Predictive Models From Observation and Interaction [137.77887825854768]
  世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。 しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。 本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。