論文の概要: Beyond Static and Linear: What Attention Constraints Best Fit Human Reading Times?

• arxiv url: http://arxiv.org/abs/2608.23818v1
• Date: Mon, 24 Aug 2026 20:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.600524
• Title: Beyond Static and Linear: What Attention Constraints Best Fit Human Reading Times?
• Title（参考訳）: 静的・リニアを超えて:人間の読書時間に制限があるのは何か?
• Abstract要約: 注意に基づく記憶機構を、異なるモデルサイズとトレーニングコーパスで比較する。 干渉トークンの内容に敏感な制約は,人間の読解時間と常に一致していることがわかった。 本研究では,動的メモリキュリキュラ下での心理的適合性と文法能力の解離を観察する。
• 参考スコア（独自算出の注目度）: 10.960629651580275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based language models are widely used as models of human language processing, yet their attention mechanisms allow lossless access to the full preceding context, unlike the limited memory systems of humans. We hypothesize that installing memory constraints into transformers' attention mechanisms can improve their fit to human behavioral data. While previous work has explored individual constraints in isolation, we conduct a systematic comparison of multiple attention-based memory mechanisms across different model sizes and training corpora, evaluating both psychometric predictive power for human reading times and grammatical competence. We additionally compare static constraints, in which the constraint strength is fixed throughout training, to dynamic memory curricula. We find that constraints that are sensitive to the content of intervening tokens consistently achieve the highest alignment with human reading times, outperforming distance-based constraints. We observe a dissociation between psychometric fit and grammatical competence under dynamic memory curricula, suggesting that Transformers cannot serve as a one-size-fits-all cognitive model.
• Abstract（参考訳）: トランスフォーマーベースの言語モデルは、人間の言語処理のモデルとして広く使われているが、人間の限られたメモリシステムとは異なり、その注意機構は、完全な先行するコンテキストへの無意味なアクセスを可能にする。 メモリ制約をトランスフォーマーの注意機構に組み込むことで、人間の行動データに適合できるという仮説を立てる。 従来の研究では、個別の制約を個別に検討してきたが、異なるモデルサイズとトレーニングコーパスにまたがる複数の注意に基づく記憶機構を体系的に比較し、人間の読書時間に対する心理測定予測力と文法能力の両方を評価した。 さらに、トレーニング中に制約強度が固定される静的制約と、動的メモリキュリキュラを比較する。 干渉トークンの内容に敏感な制約は、人間の読影時間との整合性を常に達成し、距離に基づく制約よりも優れることがわかった。 本研究では,動的メモリキュリキュラ下での心理的適合性と文法能力の解離を観察し,トランスフォーマーが一大認知モデルとして機能することができないことを示唆した。

関連論文リスト

• DeSeG: Decoupling Semantic Intent and Geometric Constraints for Physically Plausible Human-Scene Interaction [50.06148080975928]
  本稿では,意味的意図を幾何学的制約から明確に分離する階層型フレームワークであるDeSeGを提案する。 DeSeGは最先端のパフォーマンスを実現し、平均シーン浸透率を47%削減し、SOTAベースラインに対するセマンティックアライメントを29%改善した。
  論文  参考訳（メタデータ） (2026-07-07T03:21:08Z)
• Emotion-Attended Stateful Memory (EASM):The Architecture for Hyper-Personalization at Scale [3.036596192442501]
  本稿では,ユーザ固有の会話コンテキストを動的に構築する感情適応型ステートフルメモリアーキテクチャを提案する。 感情的に異なる6つのカテゴリーにまたがる30の非記述会話を対象としたA/B制御実験を行った。 その結果は、悲しみ、苦悩、不確実性を含む感情的敵対的な会話においても一貫していた。
  論文  参考訳（メタデータ） (2026-05-14T13:39:19Z)
• Working Memory Constraints Scaffold Learning in Transformers under Data Scarcity [5.066450251002448]
  我々は,固定幅ウィンドウと時間減衰に基づく注意機構を含む,認知にインスパイアされた注意変動を実装した。 我々の改良型GPT-2モデルは、発達可能なデータセット(10万語、1億語)をスクラッチから訓練する。
  論文  参考訳（メタデータ） (2026-04-22T17:14:52Z)
• Human-like Working Memory Interference in Large Language Models [13.786393462852395]
  作業記憶は人間の推論と知性の基本である。 1000億のニューロンがあるにもかかわらず、生体系と人工系は共にワーキングメモリに制限がある。 動作中のメモリタスクを完璧に解くために、2層トランスフォーマーをトレーニングすることはできるが、様々な事前訓練されたLCMは動作中のメモリ制限を示し続けている。
  論文  参考訳（メタデータ） (2026-04-01T17:19:46Z)
• ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation [55.467742403416175]
  本稿では,大規模モーションキャプチャをヒューマノイドに変換する物理駆動型ニューラルネットワークを提案する。 我々は高密度参照とスパースタスク仕様の両方をサポートする統合マルチモーダルコントローラを学習する。 その結果,ULTRAは自我中心の知覚から,自律的,目標条件付き全体ロコ操作に一般化することが示された。
  論文  参考訳（メタデータ） (2026-03-03T18:59:29Z)
• InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions [58.329946838699044]
  人間は、明示的な全身運動のレベルで、物体と全身の相互作用を計画することは滅多にない。 このような事前のスケーリングは、ヒューマノイドがロコ操作スキルの構築と一般化を可能にする鍵となる。 我々は,強化学習による大規模模倣事前学習とポストトレーニングを通じて,統合生成コントローラを学習するフレームワークであるInterPriorを紹介する。
  論文  参考訳（メタデータ） (2026-02-05T18:59:27Z)
• Memo: Training Memory-Efficient Embodied Agents with Reinforcement Learning [53.72709564555407]
  Memoは、強化学習のためのトランスフォーマーベースのアーキテクチャとトレーニングのレシピである。 トレーニング中のモデルの入力と周期的な要約トークンをインターリーブすることで、メモリの生成と検索を組み込む。 グリッドワールドメタRLベンチマークとマルチオブジェクトナビゲーションタスクにおけるMemoの有効性を,フォトリアリスティック屋内環境で実証する。
  論文  参考訳（メタデータ） (2025-10-22T16:24:47Z)
• If Attention Serves as a Cognitive Model of Human Memory Retrieval, What is the Plausible Memory Representation? [3.757103053174534]
  本研究では,トランスフォーマー文法(TG)の注意機構が,人間の記憶検索の認知モデルとして機能するかどうかを検討する。 実験により,TGの注意力は,バニラ変圧器と比較して,セルフペースト読影時間において優れた予測力を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-17T05:58:25Z)
• A Language Model with Limited Memory Capacity Captures Interference in Human Sentence Processing [25.916625483405802]
  我々は1つの自己注意頭を持つ反復型ニューラル言語モデルを開発する。 我々は,人間の実験で観察された意味的・統語的干渉効果を,モデルの単一注意頭部が捉えていることを示す。
  論文  参考訳（メタデータ） (2023-10-24T19:33:27Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。