論文の概要: Energy-Based Transformers as Predictors of Reading Difficulty

• arxiv url: http://arxiv.org/abs/2606.23382v1
• Date: Mon, 22 Jun 2026 14:11:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 19:23:42.630928
• Title: Energy-Based Transformers as Predictors of Reading Difficulty
• Title（参考訳）: 読み難い予測因子としてのエネルギーベース変圧器
• Authors: Jakub Dotlacil, Ece Takmaz,
• Abstract要約: 我々は、エネルギーベースの変圧器という、関連する変圧器モデルのクラスを探索する。 これは、計算心理学におけるエネルギーベースのトランスフォーマー測度の最初の探査である。 注意エントロピーと仮定の両方に起因する効果を仮定する証拠が発見され、エネルギーが単一の統合予測器として機能する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.0597393315808434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer language models have become established tools for modeling human sentence processing, with measures such as surprisal and attention entropy serving as effective predictors of reading difficulty that together capture complementary aspects of processing load. Here, we explore a related class of transformer models: energy-based transformers, which provide a principled formal link to associative memory models, bringing processing research into direct contact with the broader literature on Hopfield networks and dense associative memory. To our knowledge, this is the first exploration of an energy-based transformer measure in computational psycholinguistics. Across reading-time corpora (Natural Stories, UCL eye-tracking, UCL self-paced reading), the energy measure is a robust predictor of reading times, providing significant fit beyond surprisal in all three. In a controlled experiment on relative clause processing, energy at a single layer captures the well-known object/subject asymmetry. We find evidence that it subsumes effects attributable to both attention entropy and surprisal, suggesting that energy may serve as a single unified predictor where multiple complementary measures have previously been required.
• Abstract（参考訳）: トランスフォーマー言語モデルは人文処理をモデル化するためのツールとして確立され、処理負荷の相補的な側面を捉えるのに有効な読解難読の予測因子として、副次的・注意的エントロピーなどの尺度が用いられるようになった。 本稿では、アソシエーションメモリモデルに原則的な形式的リンクを提供するエネルギーベースのトランスフォーマーモデルについて検討し、ホップフィールドネットワークや高密度アソシエーションメモリに関する幅広い文献と直接接触する処理研究をもたらす。 私たちの知る限り、これは計算心理言語学におけるエネルギーベースのトランスフォーマー尺度の最初の探索である。 読解時間コーパス(Natural Stories, UCL eye-tracking, UCL self-paced reading)全体にわたって、エネルギー測定は読み出し時間の堅牢な予測器であり、これら3つすべてにおいてサブプライムを超えている。 相対的節処理に関する制御された実験では、単一の層におけるエネルギーはよく知られた対象/対象非対称性を捕捉する。 注意エントロピーと仮定の両方に起因する効果を仮定する証拠が発見され、エネルギーがこれまで複数の補完策が必要であった単一統一予測器として機能する可能性が示唆された。

関連論文リスト

• Fine-Tuning Dynamics of In-Context Factual Recall in Transformers [63.1821972855273]
  インコンテキスト学習 -- プロンプトで与えられた例に基づいてタスクを実行する -- は、大きな言語モデルに現れている。 非コンテキスト学習が事実的知識のリコールをどのように活用するかを研究する。 IC-リコールデータを用いた1層トランスの微調整特性の解析を行った。
  論文  参考訳（メタデータ） (2026-05-26T23:47:26Z)
• Revisiting Transformer Layer Parameterization Through Causal Energy Minimization [19.719105230471282]
  本稿では,トランスフォーマー層を条件付きエネルギー関数の最適化ステップとして再キャストするフレームワークであるCausal Energy Minimization (CEM)を紹介する。 我々は、CEMがトランスフォーマーアーキテクチャをエネルギーベースモデルに接続し、エネルギー誘導層設計のさらなる探求を動機付けていることを示す。
  論文  参考訳（メタデータ） (2026-05-08T11:02:11Z)
• Image Recognition with Online Lightweight Vision Transformer: A Survey [53.005965123414576]
  本稿では、画像認識のための軽量な視覚変換器を作成するための様々なオンライン戦略について調査する。 我々は、ImageNet-1Kベンチマークにおいて、各トピックに関する関連する探索を評価した。 視覚変換器の軽量化における今後の研究の方向性と今後の課題を提案する。
  論文  参考訳（メタデータ） (2025-05-06T02:07:54Z)
• Shrinking the Giant : Quasi-Weightless Transformers for Low Energy Inference [0.30104001512119216]
  高速でエネルギー効率のよい推論モデルの構築は、様々なトランスフォーマーベースのアプリケーションを実現するために不可欠である。 拡張有限差分法によりLUTネットワークを直接学習する手法を構築した。 これにより、トランスベースのモデルに対する計算的でエネルギー効率の良い推論ソリューションが実現される。
  論文  参考訳（メタデータ） (2024-11-04T05:38:56Z)
• Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory [11.3128832831327]
  Transformerのサイズが大きくなると、パフォーマンスが向上するとは限らない。 本稿では,変圧器を用いた言語モデルの事前学習において,記憶に光を当てる理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-14T15:48:36Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• Transformers from an Optimization Perspective [24.78739299952529]
  本研究では,トランスフォーマーモデルに基づくエネルギー関数の探索問題について検討する。 このような関数を見つけることで、解釈可能な最適化プロセスの展開として変換器を再解釈することができる。 この研究はトランスフォーマーの直感と理解に寄与し、新しいモデル設計の基礎を築き上げている可能性がある。
  論文  参考訳（メタデータ） (2022-05-27T10:45:15Z)
• Attention Mechanism with Energy-Friendly Operations [61.58748425876866]
  我々はエネルギー消費の観点から注意機構を再考する。 我々は、乗算を選択的操作または加算に置き換えることで、新しい注意モデルを構築する。 3つの機械翻訳タスクにおける実験結果から,提案手法が再現可能な精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-28T08:50:09Z)
• Learning Generative Vision Transformer with Energy-Based Latent Space for Saliency Prediction [51.80191416661064]
  本稿では,有意な物体検出に先立って,潜伏変数を持つ新しい視覚変換器を提案する。 ビジョントランスネットワークとエネルギーベース先行モデルの両方は、マルコフ連鎖モンテカルロによる最大推定を通じて共同で訓練される。 生成型視覚変換器により、画像から容易に画素単位の不確実性マップを得ることができ、画像から唾液濃度を予測するためのモデル信頼度を示す。
  論文  参考訳（メタデータ） (2021-12-27T06:04:33Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。