論文の概要: Training Dynamics of Transformers on Unbounded Inputs: Attention Learning Can Lag Output Layer Learning

• arxiv url: http://arxiv.org/abs/2610.20337v1
• Date: Wed, 14 Oct 2026 15:19:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.219485
• Title: Training Dynamics of Transformers on Unbounded Inputs: Attention Learning Can Lag Output Layer Learning
• Title（参考訳）: 非有界入力における変圧器のトレーニングダイナミクス:注意学習は出力層学習を遅延させることができる
• Abstract要約: 非有界入力から星のない言語を認識するための浅層変圧器の訓練方法を示す。 我々は、他の言語認識、回帰、文脈内学習にも「注目学習の遅延出力層学習」が有用であることを実証的に示す。
• 参考スコア（独自算出の注目度）: 8.178756725871075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of transformers is attributed to several factors, including their capacity to express formal languages over variable-length inputs, and ability of the attention mechanism to focus on relevant input features. However, there is limited understanding of the training dynamics of shallow transformers, specifically how to decouple the learning of the attention and the output (feedforward) layer. A natural extension of the theory of one-step gradient feature learning in feedforward networks suggests that one could first learn the attention weights with a single gradient step, and then train the output layer. We show that this fails for a shallow transformer trained to recognize a star-free language from unbounded-length input. We prove that the transformer can be trained to recognize the language with a three-phase gradient descent: the output layer is updated first, followed by an attention update, and the output layer is fine-tuned in the third phase. In contrast, the language cannot be learned by training only the attention or output layer, or by a single attention-layer update followed by finetuning the output layer. We empirically show that ``attention learning lagging output layer learning" is beneficial in other language recognition, regression, and in-context learning tasks as well.
• Abstract（参考訳）: 変圧器の成功は、可変長入力に対して形式言語を表現する能力や、関連する入力特徴にフォーカスする注意機構の能力など、いくつかの要因に起因している。 しかし、浅層変圧器の訓練力学、特に注意の学習と出力(フィードフォワード)層を分離する方法の理解は限られている。 フィードフォワードネットワークにおける一段階勾配特徴学習の理論の自然な拡張は、まず1つの勾配ステップで注意重みを学習し、次に出力層を訓練できることを示唆している。 これは、星のない言語を無拘束入力から認識するよう訓練された浅層変圧器では失敗することを示す。 出力層を最初に更新し、次に注意更新を行い、出力層を第3フェーズで微調整する。 対照的に、言語は注意層や出力層のみをトレーニングしたり、単一の注意層更新を行った後に出力層を微調整することによって学べない。 我々は,「意図的学習遅滞型出力層学習」が,他の言語認識,回帰,文脈内学習にも有用であることを実証的に示す。

関連論文リスト

• LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers [53.43862310647276]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れるが、事実の誤りに弱いままである。 本稿では,トークン型と最も影響力のあるトランスフォーマー層を整合させて実データ生成を改善する,トークン認識型コントラストデコーディング手法を提案する。 提案手法は追加のトレーニングやモデル修正を必要とせず,複数のLSMおよび各種ベンチマークの事実性を常に改善することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-06T14:35:43Z)
• How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
  我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。 我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
  論文  参考訳（メタデータ） (2025-05-02T00:07:35Z)
• On-Chip Learning via Transformer In-Context Learning [0.9353041869660692]
  自己アテンションメカニズムでは、各ステップでメインメモリから事前トークンプロジェクションを転送する必要がある。 オンチップの塑性プロセッサを用いて自己注意を計算したニューロモルフィックデコーダのみのトランスモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-11T10:54:09Z)
• Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers [56.264673865476986]
  本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。 SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。 我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
  論文  参考訳（メタデータ） (2024-06-17T07:24:38Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)
• When Can Self-Attention Be Replaced by Feed Forward Layers? [40.991809705930955]
  エンコーダ上の自己注意層をフィードフォワード層に置き換えると、パフォーマンスが低下せず、多少の利益も得られません。 我々の実験は、自己注意層が音声信号をどのように処理するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-05-28T10:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。