論文の概要: Differentiation and Specialization of Attention Heads via the Refined Local Learning Coefficient

• arxiv url: http://arxiv.org/abs/2410.02984v1
• Date: Thu, 3 Oct 2024 20:51:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 04:35:40.343218
• Title: Differentiation and Specialization of Attention Heads via the Refined Local Learning Coefficient
• Title（参考訳）: 改良局所学習係数による注意ヘッドの識別と特殊化
• Authors: George Wang, Jesse Hoogland, Stan van Wingerden, Zach Furman, Daniel Murfet,
• Abstract要約: 特異学習理論に基づくモデル複雑性の尺度である局所学習係数 (LLC) の洗練された変種を導入する。 本研究では,トランスフォーマー言語モデルにおける内部構造の開発について検討する。
• 参考スコア（独自算出の注目度）: 0.49478969093606673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce refined variants of the Local Learning Coefficient (LLC), a measure of model complexity grounded in singular learning theory, to study the development of internal structure in transformer language models during training. By applying these \textit{refined LLCs} (rLLCs) to individual components of a two-layer attention-only transformer, we gain novel insights into the progressive differentiation and specialization of attention heads. Our methodology reveals how attention heads differentiate into distinct functional roles over the course of training, analyzes the types of data these heads specialize to process, and discovers a previously unidentified multigram circuit. These findings demonstrate that rLLCs provide a principled, quantitative toolkit for \textit{developmental interpretability}, which aims to understand models through their evolution across the learning process. More broadly, this work takes a step towards establishing the correspondence between data distributional structure, geometric properties of the loss landscape, learning dynamics, and emergent computational structures in neural networks.
• Abstract（参考訳）: 特異学習理論に基づくモデル複雑性の尺度である局所学習係数(LLC)の洗練された変種を導入し、学習中のトランスフォーマー言語モデルの内部構造の開発について検討する。 これらを2層アテンションのみ変換器の個々の構成要素に適用することにより、アテンションヘッドの進化的分化と特殊化に関する新たな知見を得る。 提案手法は,学習過程において,注目ヘッドが異なる機能的役割にどのように分化するかを明らかにするとともに,これらの頭部が処理に特化しているデータの種類を分析し,これまで同定されていなかったマルチグラム回路を発見する。 これらの結果から,rLLCsは学習プロセス全体にわたるモデルの進化を通じてモデルを理解することを目的とした,‘textit{developmental interpretability} の原理的,定量的なツールキットを提供することが示された。 より広範に、この研究は、データ分布構造、損失ランドスケープの幾何学的性質、学習力学、ニューラルネットワークにおける創発的計算構造との対応性を確立するための一歩を踏み出した。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language [15.929767234646631]
  データ、サイズ、計算量の増加は、ニューラルネットワークによる特定の能力の急激な学習につながる可能性がある。 エマージェンス(emergence)とは、しばしば「エマージェンス(emergence)」と呼ばれる現象である。
  論文  参考訳（メタデータ） (2024-08-22T17:44:22Z)
• Examining Changes in Internal Representations of Continual Learning Models Through Tensor Decomposition [5.01338577379149]
  連続学習(CL)は、逐次学習にまたがる過去の知識の統合を目的としたいくつかの手法の開発を加速させた。 CLモデルのための表現に基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-06T07:52:44Z)
• The mechanistic basis of data dependence and abrupt learning in an in-context classification task [0.3626013617212666]
  本研究では,言語固有の特定の分布特性が,2種類の学習のトレードオフや同時出現を制御していることを示す。 インコンテキスト学習は、誘導ヘッドの突然の出現によって駆動され、その後、インウェイト学習と競合する。 注意に基づくネットワークの急激な遷移は、ICLを実現するのに必要な多層演算の特定の連鎖によって生じると提案する。
  論文  参考訳（メタデータ） (2023-12-03T20:53:41Z)
• Harmonizing Feature Attributions Across Deep Learning Architectures: Enhancing Interpretability and Consistency [2.2237337682863125]
  本研究では,様々なディープラーニングアーキテクチャにおける特徴属性の一般化について検討する。 私たちは、より一貫性があり楽観的な特徴属性の理解を深めることを目指しています。 本研究は,解釈可能性の向上と機械学習アプリケーションの信頼性向上を目的とした,調和した特徴帰属手法の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-07-05T09:46:41Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
  自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。 本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T18:15:38Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Structure-Aware Feature Generation for Zero-Shot Learning [108.76968151682621]
  潜在空間と生成ネットワークの両方を学習する際の位相構造を考慮し,SA-GANと呼ばれる新しい構造認識特徴生成手法を提案する。 本手法は,未確認クラスの一般化能力を大幅に向上させ,分類性能を向上させる。
  論文  参考訳（メタデータ） (2021-08-16T11:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。