論文の概要: Signatures of human-like processing in Transformer forward passes

• arxiv url: http://arxiv.org/abs/2504.14107v2
• Date: Sun, 18 May 2025 17:27:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.599907
• Title: Signatures of human-like processing in Transformer forward passes
• Title（参考訳）: トランスフォーマーフォワードパスにおけるヒューマンライクな処理のシグナチャ
• Authors: Jennifer Hu, Michael A. Lepori, Michael Franke,
• Abstract要約: 現代のAIモデルは、人間の認知を研究する理論的ツールとして、ますます使われている。 機械的解釈可能性の最近の進歩は、モデル出力を引き起こす内部過程を明らかにし始めている。 本研究では,人間におけるリアルタイム処理とトランスフォーマーにおける計算の層間ダイナミクスの関係について検討する。
• 参考スコア（独自算出の注目度）: 6.165163123577484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern AI models are increasingly being used as theoretical tools to study human cognition. One dominant approach is to evaluate whether human-derived measures are predicted by a model's output: that is, the end-product of a forward pass. However, recent advances in mechanistic interpretability have begun to reveal the internal processes that give rise to model outputs, raising the question of whether models might use human-like processing strategies. Here, we investigate the relationship between real-time processing in humans and layer-time dynamics of computation in Transformers, testing 20 open-source models in 6 domains. We first explore whether forward passes show mechanistic signatures of competitor interference, taking high-level inspiration from cognitive theories. We find that models indeed appear to initially favor a competing incorrect answer in the cases where we would expect decision conflict in humans. We then systematically test whether forward-pass dynamics predict signatures of processing in humans, above and beyond properties of the model's output probability distribution. We find that dynamic measures improve prediction of human processing measures relative to static final-layer measures. Moreover, across our experiments, larger models do not always show more human-like processing patterns. Our work suggests a new way of using AI models to study human cognition: not just as a black box mapping stimuli to responses, but potentially also as explicit processing models.
• Abstract（参考訳）: 現代のAIモデルは、人間の認知を研究する理論的ツールとして、ますます使われている。 1つの主要なアプローチは、人為的な測度がモデルの出力によって予測されるかどうかを評価することである。 しかし、近年の機械的解釈可能性の進歩は、モデル出力を引き起こす内部プロセスを明らかにし始めており、モデルが人間のような処理戦略を使うかどうかという疑問が提起されている。 そこで本研究では,トランスフォーマーのリアルタイム処理と層間動的計算の関係について検討し,20個のオープンソースモデルを6領域で検証した。 まず、前方通過が競合干渉の機械的シグネチャを示し、認知理論から高いレベルのインスピレーションを得るかどうかを考察する。 モデルは当初、人間が意思決定の衝突を期待するケースで、競合する誤った回答を好んでいるように思える。 次に、前方通過力学が人間の処理のシグネチャを予測できるかどうかを、モデル出力確率分布の特性以上で系統的に検証する。 動的測度は, 静的最終層測度に対して, 人為的処理量の予測を改善することが確認された。 さらに、我々の実験では、より大きなモデルは必ずしも人間に似た処理パターンを示すとは限らない。 私たちの研究は、人間の認知を研究するためにAIモデルを使用する新しい方法を提案する。

関連論文リスト

• Transcendence: Generative Models Can Outperform The Experts That Train Them [55.885802048647655]
  生成モデルがデータを生成する専門家の能力を超える能力を達成するとき、超越現象を研究する。 我々は,自動回帰変換器をトレーニングして,ゲームスクリプティングからチェスを学習し,トレーニングされたモデルが,データセットのすべてのプレイヤーよりも優れたパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2024-06-17T17:00:52Z)
• Humanoid Locomotion as Next Token Prediction [84.21335675130021]
  我々のモデルは感覚運動軌道の自己回帰予測によって訓練された因果変換器である。 われわれのモデルでは、フルサイズのヒューマノイドがサンフランシスコでゼロショットで歩けることが示されている。 われわれのモデルは、わずか27時間の歩行データで訓練された場合でも現実世界に移行でき、後方歩行のような訓練中に見えないコマンドを一般化することができる。
  論文  参考訳（メタデータ） (2024-02-29T18:57:37Z)
• TransFusion: A Practical and Effective Transformer-based Diffusion Model for 3D Human Motion Prediction [1.8923948104852863]
  本研究では,3次元動作予測のための革新的で実用的な拡散モデルであるTransFusionを提案する。 我々のモデルは、浅い層と深い層の間の長いスキップ接続を持つバックボーンとしてTransformerを活用している。 クロスアテンションや適応層正規化のような余分なモジュールを利用する従来の拡散モデルとは対照的に、条件を含む全ての入力をトークンとして扱い、より軽量なモデルを作成する。
  論文  参考訳（メタデータ） (2023-07-30T01:52:07Z)
• Learning Theory of Mind via Dynamic Traits Attribution [59.9781556714202]
  本稿では,過去のトラジェクトリからアクターの潜在特性ベクトルを生成するニューラルToMアーキテクチャを提案する。 この特性ベクトルは、予測ニューラルネットワークの高速重み付けスキームを介して予測機構を乗法的に変調する。 実験により,高速重量はエージェントの特性をモデル化し,マインドリーディング能力を向上させるために優れた誘導バイアスを与えることが示された。
  論文  参考訳（メタデータ） (2022-04-17T11:21:18Z)
• HiT-DVAE: Human Motion Generation via Hierarchical Transformer Dynamical VAE [37.23381308240617]
  本稿では,階層型トランスフォーマー動的変分オートエンコーダ(HiT-DVAE)を提案する。 提案手法はHumanEva-IおよびHuman3.6Mにおいて,様々な評価手法を用いて評価し,その大部分において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-04T15:12:34Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• Probabilistic Human Motion Prediction via A Bayesian Neural Network [71.16277790708529]
  本稿では,人間の動作予測のための確率モデルを提案する。 我々のモデルは、観測された動きシーケンスが与えられたときに、いくつかの将来の動きを生成することができる。 我々は、大規模ベンチマークデータセットHuman3.6mに対して、我々のアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2021-07-14T09:05:33Z)
• Multimodal Deep Generative Models for Trajectory Prediction: A Conditional Variational Autoencoder Approach [34.70843462687529]
  本研究では,人間の行動予測に対する条件付き変分オートエンコーダアプローチに関する自己完結型チュートリアルを提供する。 本チュートリアルの目的は,人間の行動予測における最先端の手法の分類をレビューし,構築することである。
  論文  参考訳（メタデータ） (2020-08-10T03:18:27Z)
• Learning Predictive Models From Observation and Interaction [137.77887825854768]
  世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。 しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。 本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。