論文の概要: Emergent Capabilities Arise Randomly from Learning Sparse Attention Patterns
- arxiv url: http://arxiv.org/abs/2606.25010v1
- Date: Tue, 23 Jun 2026 17:51:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.104886
- Title: Emergent Capabilities Arise Randomly from Learning Sparse Attention Patterns
- Title（参考訳）: スパースアテンションパターンの学習からランダムに出現する創発的能力
- Abstract要約: コンテキスト内学習のような下流の機能は、あるモデルスケールを超えると突然現れることが知られている。
パターン補完や間接物体識別などの能力の出現は,タスク関連注意パターンの急激な学習に対応していることを示す。
我々は,合成線形写像とセルオートマトンを用いたトランスフォーマーモデルを訓練し,注意パターンの学習の難しさは,文脈長とパターンの空間性に依存することを示した。
- 参考スコア（独自算出の注目度）: 48.062049009807446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural scaling laws for transformer language models predict smooth improvements in pretraining loss with increasing parameters, but downstream capabilities such as in-context learning are known to emerge abruptly past a certain model scale. In this paper, we show that emergent capabilities arise stochastically throughout training, with larger models acquiring them earlier on average. We demonstrate that the emergence of capabilities such as pattern completion and indirect object identification corresponds to the abrupt learning of task-relevant attention patterns. To isolate this phenomenon, we train transformer models on synthetic linear map and cellular automata datasets, and we show that the difficulty of learning attention patterns depends on context length and pattern sparsity. Moreover, scaling the number of attention heads improves learning efficiency on our synthetic tasks, while increasing the head dimension yields diminishing returns past a minimum capacity. We additionally investigate architectures with alternative attention mechanisms, showing that MLP-Mixer outperforms a transformer on linear map tasks with complex attention patterns. Our findings provide a mechanistic insight into emergence, showing that downstream capabilities arise abruptly due to the intrinsic difficulty of learning sparse attention patterns in transformer models.
- Abstract（参考訳）: トランスフォーマー言語モデルのニューラルスケーリング法則は、パラメータの増加に伴う事前学習損失のスムーズな改善を予測している。
本稿では,創発能力が訓練中に確率的に現れることを示す。
パターン補完や間接物体識別などの能力の出現は,タスク関連注意パターンの急激な学習に対応していることを示す。
この現象を分離するために, 合成線形写像とセルオートマトンを用いたトランスフォーマーモデルを訓練し, 注意パターンの学習の難しさは, 文脈長とパターン間隔に依存することを示した。
さらに、注意点数を拡大することで、我々の合成作業における学習効率が向上し、一方、頭部次元の増大は最小限の能力を超えるリターンを減少させる。
MLP-Mixerは複雑な注意パターンを持つ線形マップタスクにおいてトランスフォーマーよりも優れていることを示す。
本研究は,変圧器モデルにおけるスパースアテンションパターンの学習が本質的に困難であることから,下流の能力が急激に出現することが示唆された。
関連論文リスト
- Transformer Is Inherently a Causal Learner [27.79148022495734]
自己回帰的に訓練されたトランスフォーマーは,時間遅れの因果構造を自然に符号化することを示す。
この関係を理論的に標準的な識別可能性条件下で証明する。
このアプローチは最先端の発見アルゴリズムの性能を大幅に上回る。
論文 参考訳（メタデータ） (2026-01-09T09:10:04Z) - Revisiting associative recall in modern recurrent models [17.2249234816671]
本稿では,現代の反復モデルの性能において,学習率の選択が重要な役割を担っていることを示す。
次に1層変圧器を検査し、その性能が劣っているにもかかわらず、トレーニングダイナミクスが驚くほど誘導ヘッドの形成に類似していることを明らかにする。
論文 参考訳（メタデータ） (2025-08-26T13:45:08Z) - The emergence of sparse attention: impact of data distribution and benefits of repetition [14.652502263025882]
本研究では,トランスフォーマーにおける重要かつ頻繁な注意パターンであるスパースアテンションのトレーニングに伴う出現について検討した。
玩具モデルの理論的解析と線形回帰変種を訓練した小型変圧器の経験的観察を組み合わせることで,機械的スパークアテンションの出現を明らかにする。
我々の研究は、データ分布とモデル設計が1つの形態の台頭の背後にある学習力学にどのように影響するかを理解するための、シンプルで理論的に基礎的なフレームワークを提供する。
論文 参考訳（メタデータ） (2025-05-23T13:14:02Z) - In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。
この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
論文 参考訳（メタデータ） (2025-03-17T02:00:49Z) - Abrupt Learning in Transformers: A Case Study on Matrix Completion [15.210510215283882]
マスク付き言語モデリング(MLM)タスクとして低ランク行列補完問題を定式化する。
BERTモデルをトレーニングして,この課題を低誤差で解決できることが示される。
また、個々のモデルコンポーネントのトレーニングダイナミクスを分析し、突然の損失の減少を理解する。
論文 参考訳（メタデータ） (2024-10-29T17:08:06Z) - Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。
注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
論文 参考訳（メタデータ） (2024-09-20T07:41:47Z) - Research on Personalized Compression Algorithm for Pre-trained Models Based on Homomorphic Entropy Increase [2.6513322539118582]
我々は、現在のAI分野における2つの重要な技術の課題と進化を探求する:ビジョントランスフォーマーモデルと大規模言語モデル(LLM)。
Vision Transformerは、イメージを小さな断片に分割することで、グローバルな情報をキャプチャするが、その高い参照数とモバイル機器へのオーバヘッド制限の配置を計算する。
LLMは自然言語処理に革命をもたらしたが、デプロイメントの課題にも直面している。
論文 参考訳（メタデータ） (2024-08-16T11:56:49Z) - In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - Uncovering the Hidden Cost of Model Compression [43.62624133952414]
視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。
モデル圧縮は視覚的プロンプトベース転送の性能に有害である。
しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
論文 参考訳（メタデータ） (2023-08-29T01:47:49Z) - Stabilizing Transformer Training by Preventing Attention Entropy
Collapse [56.45313891694746]
本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。
我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。
画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
論文 参考訳（メタデータ） (2023-03-11T03:30:47Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。
事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。
本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-25T14:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。