論文の概要: Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials

• arxiv url: http://arxiv.org/abs/2402.16726v3
• Date: Mon, 18 Nov 2024 02:56:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:30:42.433898
• Title: Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials
• Title（参考訳）: モジュラー多項式上のグロッケ変圧器の内部回路と特性の実証解釈に向けて
• Authors: Hiroki Furuta, Gouki Minegishi, Yusuke Iwasawa, Yutaka Matsuo,
• Abstract要約: モジュラー加算のグロキングは、変換器の三角形状のフーリエ表現とその計算回路を実装することが知られている。 各操作でグラクされたモデル間の転送性は、特定の組み合わせに限られることを示す。 マルチタスクの混合によってコグルーキングが発生し、すべてのタスクで同時にグルーキングが発生する。
• 参考スコア（独自算出の注目度）: 29.09237503747052
• License:
• Abstract: Grokking has been actively explored to reveal the mystery of delayed generalization and identifying interpretable representations and algorithms inside the grokked models is a suggestive hint to understanding its mechanism. Grokking on modular addition has been known to implement Fourier representation and its calculation circuits with trigonometric identities in Transformers. Considering the periodicity in modular arithmetic, the natural question is to what extent these explanations and interpretations hold for the grokking on other modular operations beyond addition. For a closer look, we first hypothesize that any modular operations can be characterized with distinctive Fourier representation or internal circuits, grokked models obtain common features transferable among similar operations, and mixing datasets with similar operations promotes grokking. Then, we extensively examine them by learning Transformers on complex modular arithmetic tasks, including polynomials. Our Fourier analysis and novel progress measure for modular arithmetic, Fourier Frequency Density and Fourier Coefficient Ratio, characterize distinctive internal representations of grokked models per modular operation; for instance, polynomials often result in the superposition of the Fourier components seen in elementary arithmetic, but clear patterns do not emerge in challenging non-factorizable polynomials. In contrast, our ablation study on the pre-grokked models reveals that the transferability among the models grokked with each operation can be only limited to specific combinations, such as from elementary arithmetic to linear expressions. Moreover, some multi-task mixtures may lead to co-grokking -- where grokking simultaneously happens for all the tasks -- and accelerate generalization, while others may not find optimal solutions. We provide empirical steps towards the interpretability of internal circuits.
• Abstract（参考訳）: グロキングは遅れた一般化の謎を明らかにするために活発に研究され、グルーク付きモデル内の解釈可能な表現とアルゴリズムを特定することは、そのメカニズムを理解するための示唆的なヒントである。 モジュラー加算のグロキングは、変換器の三角形状のフーリエ表現とその計算回路を実装することが知られている。 モジュラー算術の周期性を考えると、自然な疑問はこれらの説明や解釈が加法以外のモジュラー演算に対してどの程度の程度で成立するかである。 より詳しく見ていくために、まずモジュラー演算はフーリエ表現や内部回路で特徴付けることができると仮定し、グルークされたモデルは類似した演算で転送可能な共通特徴を得るとともに、類似した演算でデータセットを混合することでグラクキングを促進する。 そこで我々は,多項式を含む複雑なモジュラー演算タスク上でトランスフォーマーを学習することにより,それらを広範囲に検証する。 我々のモジュラー算術におけるフーリエ解析と新しい進歩測度、フーリエ周波数密度およびフーリエ係数比は、モジュラー演算毎のグルーク付きモデルの特異な内部表現を特徴づける。 これとは対照的に,プレグロッケモデルに対するアブレーション研究では,各操作でグラクされたモデル間の移動性は,初等算術から線形表現まで,特定の組み合わせに限定できることが示されている。 さらに、いくつかのマルチタスク混合はコグルーキング(英語版) (co-grokking) を引き起こし、全てのタスクで同時にグルーキングが発生し、一般化を加速する。 内部回路の解釈可能性に関する実証的なステップを提供する。

関連論文リスト

• Generalization of Modular Spread Complexity for Non-Hermitian Density Matrices [0.0]
  この研究において、モジュラー拡散複雑性の概念を、還元密度行列が非エルミート的である場合に一般化する。 エンタングルメントの容量を一般化する擬似容量を定義し、擬似モジュラー複雑性の初期モジュラー時間尺度に対応する。 2レベル系と4-量子ビット系の解析計算を行い、その後、横場イジングモデルの量子相転移に関する数値的な研究を行う。
  論文  参考訳（メタデータ） (2024-10-07T17:59:16Z)
• Shape Arithmetic Expressions: Advancing Scientific Discovery Beyond Closed-Form Equations [56.78271181959529]
  GAM(Generalized Additive Models)は、変数とターゲットの間の非線形関係をキャプチャできるが、複雑な特徴相互作用をキャプチャすることはできない。 本稿では,GAMのフレキシブルな形状関数と,数学的表現に見られる複雑な特徴相互作用を融合させる形状表現算術(SHARE)を提案する。 また、標準制約を超えた表現の透明性を保証するSHAREを構築するための一連のルールを設計する。
  論文  参考訳（メタデータ） (2024-04-15T13:44:01Z)
• EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
  複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
  論文  参考訳（メタデータ） (2024-03-26T14:18:43Z)
• Discovering modular solutions that generalize compositionally [55.46688816816882]
  実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-22T16:33:50Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Inductive Biases and Variable Creation in Self-Attention Mechanisms [25.79946667926312]
  この研究は自己アテンション加群の帰納バイアスの理論解析を提供する。 私たちの焦点は、どの関数と長距離依存関係を表現したいかを明確に決めることです。 我々の主な結果は、有界ノルムトランスフォーマー層がスパース変数を生成することを示している。
  論文  参考訳（メタデータ） (2021-10-19T16:36:19Z)
• Learning Algebraic Recombination for Compositional Generalization [71.78771157219428]
  合成一般化のための代数的組換え学習のためのエンドツーエンドニューラルモデルLeARを提案する。 主要な洞察は、意味解析タスクを潜在構文代数学と意味代数学の間の準同型としてモデル化することである。 2つの現実的・包括的構成一般化の実験は、我々のモデルの有効性を実証している。
  論文  参考訳（メタデータ） (2021-07-14T07:23:46Z)
• A Compositional Atlas of Tractable Circuit Operations: From Simple Transformations to Complex Information-Theoretic Queries [44.36335714431731]
  本稿では,回路上のモジュラー操作において,機械学習の複雑な推論シナリオがいかに表現できるかを示す。 文献におけるいくつかの結果を一般化し,新たな抽出可能な推論シナリオを開放する,抽出可能なモデルについて推論するための統一的な枠組みを導出する。
  論文  参考訳（メタデータ） (2021-02-11T17:26:32Z)
• A Deep Joint Sparse Non-negative Matrix Factorization Framework for Identifying the Common and Subject-specific Functional Units of Tongue Motion During Speech [7.870139900799612]
  音声中の舌運動の共通および主観的機能単位を特定するための新しいディープラーニングフレームワークを開発した。 スパースとグラフ正規化によるNMFを、ディープニューラルネットワークに似たモジュラーアーキテクチャに変換する。
  論文  参考訳（メタデータ） (2020-07-09T15:05:44Z)
• Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
  本稿では,データ駆動型汎用全深度変動正規化器について紹介する。 コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。 我々は多数の画像処理タスクに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-15T21:54:15Z)
• Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers [42.93754828584075]
  我々は、高速注意Via Orthogonal Random機能(FAVOR)に基づく新しいトランスフォーマーアーキテクチャPerformerを提案する。 我々の機構は、列内のトークンの数で2次ではなく2次的にスケールし、四次空間の複雑さが特徴であり、スパーシティパターンの先行を含まない。 これは強い理論的保証を与える:注意行列の偏りのない推定と一様収束である。
  論文  参考訳（メタデータ） (2020-06-05T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。