論文の概要: Differentiation and Specialization of Attention Heads via the Refined Local Learning Coefficient
- arxiv url: http://arxiv.org/abs/2410.02984v1
- Date: Thu, 03 Oct 2024 20:51:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:11:31.632136
- Title: Differentiation and Specialization of Attention Heads via the Refined Local Learning Coefficient
- Title(参考訳): 改良局所学習係数による注意ヘッドの識別と特殊化
- Authors: George Wang, Jesse Hoogland, Stan van Wingerden, Zach Furman, Daniel Murfet,
- Abstract要約: 特異学習理論に基づくモデル複雑性の尺度である局所学習係数 (LLC) の洗練された変種を導入する。
本研究では,トランスフォーマー言語モデルにおける内部構造の開発について検討する。
- 参考スコア(独自算出の注目度): 0.49478969093606673
- License:
- Abstract: We introduce refined variants of the Local Learning Coefficient (LLC), a measure of model complexity grounded in singular learning theory, to study the development of internal structure in transformer language models during training. By applying these \textit{refined LLCs} (rLLCs) to individual components of a two-layer attention-only transformer, we gain novel insights into the progressive differentiation and specialization of attention heads. Our methodology reveals how attention heads differentiate into distinct functional roles over the course of training, analyzes the types of data these heads specialize to process, and discovers a previously unidentified multigram circuit. These findings demonstrate that rLLCs provide a principled, quantitative toolkit for \textit{developmental interpretability}, which aims to understand models through their evolution across the learning process. More broadly, this work takes a step towards establishing the correspondence between data distributional structure, geometric properties of the loss landscape, learning dynamics, and emergent computational structures in neural networks.
- Abstract(参考訳): 特異学習理論に基づくモデル複雑性の尺度である局所学習係数(LLC)の洗練された変種を導入し、学習中のトランスフォーマー言語モデルの内部構造の開発について検討する。
これらを2層アテンションのみ変換器の個々の構成要素に適用することにより、アテンションヘッドの進化的分化と特殊化に関する新たな知見を得る。
提案手法は,学習過程において,注目ヘッドが異なる機能的役割にどのように分化するかを明らかにするとともに,これらの頭部が処理に特化しているデータの種類を分析し,これまで同定されていなかったマルチグラム回路を発見する。
これらの結果から,rLLCsは学習プロセス全体にわたるモデルの進化を通じてモデルを理解することを目的とした,‘textit{developmental interpretability} の原理的,定量的なツールキットを提供することが示された。
より広範に、この研究は、データ分布構造、損失ランドスケープの幾何学的性質、学習力学、ニューラルネットワークにおける創発的計算構造との対応性を確立するための一歩を踏み出した。
関連論文リスト
- Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming [11.134421799875138]
本研究では、言語間構造プライミングの複製におけるリカレントニューラルネットワーク(RNN)とトランスフォーマーの性能を評価する。
これらのモデルが構造的プライミングのロバストな現象にどう対処するかを考察し、そこでは特定の文構造への露出が、その後に類似した構造を選択する可能性を高める。
論文 参考訳(メタデータ) (2024-05-15T17:01:02Z) - Examining Changes in Internal Representations of Continual Learning Models Through Tensor Decomposition [5.01338577379149]
連続学習(CL)は、逐次学習にまたがる過去の知識の統合を目的としたいくつかの手法の開発を加速させた。
CLモデルのための表現に基づく新しい評価フレームワークを提案する。
論文 参考訳(メタデータ) (2024-05-06T07:52:44Z) - The mechanistic basis of data dependence and abrupt learning in an
in-context classification task [0.3626013617212666]
本研究では,言語固有の特定の分布特性が,2種類の学習のトレードオフや同時出現を制御していることを示す。
インコンテキスト学習は、誘導ヘッドの突然の出現によって駆動され、その後、インウェイト学習と競合する。
注意に基づくネットワークの急激な遷移は、ICLを実現するのに必要な多層演算の特定の連鎖によって生じると提案する。
論文 参考訳(メタデータ) (2023-12-03T20:53:41Z) - Role of Structural and Conformational Diversity for Machine Learning
Potentials [4.608732256350959]
量子力学におけるデータバイアスとモデル一般化の関係について検討する。
この結果から,一般化指標の微妙なパターンが明らかになった。
これらの知見は、QMデータ生成のための貴重な洞察とガイドラインを提供する。
論文 参考訳(メタデータ) (2023-10-30T19:33:12Z) - Harmonizing Feature Attributions Across Deep Learning Architectures:
Enhancing Interpretability and Consistency [2.2237337682863125]
本研究では,様々なディープラーニングアーキテクチャにおける特徴属性の一般化について検討する。
私たちは、より一貫性があり楽観的な特徴属性の理解を深めることを目指しています。
本研究は,解釈可能性の向上と機械学習アプリケーションの信頼性向上を目的とした,調和した特徴帰属手法の可能性を明らかにするものである。
論文 参考訳(メタデータ) (2023-07-05T09:46:41Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳(メタデータ) (2023-06-07T21:35:26Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳(メタデータ) (2022-10-07T17:56:53Z) - The Geometry of Self-supervised Learning Models and its Impact on
Transfer Learning [62.601681746034956]
自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。
本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
論文 参考訳(メタデータ) (2022-09-18T18:15:38Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-06T13:10:37Z) - Structure-Aware Feature Generation for Zero-Shot Learning [108.76968151682621]
潜在空間と生成ネットワークの両方を学習する際の位相構造を考慮し,SA-GANと呼ばれる新しい構造認識特徴生成手法を提案する。
本手法は,未確認クラスの一般化能力を大幅に向上させ,分類性能を向上させる。
論文 参考訳(メタデータ) (2021-08-16T11:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。