論文の概要: Assign and Add: A Mechanistic Study of Compositional Arithmetic

• arxiv url: http://arxiv.org/abs/2605.31497v1
• Date: Fri, 29 May 2026 16:19:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.736463
• Title: Assign and Add: A Mechanistic Study of Compositional Arithmetic
• Title（参考訳）: Assign and Add: Achanistic Study of compositional Arithmetic
• Abstract要約: 変圧器の構成一般化機構について検討する。 我々は、小変換器が変数と数値の既往の組合せに一般化できることを観察する。 これらの結果から,構成一般化は内部機構の変換器の構成性の自然な帰結である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 17.098170202572348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are able to compose skills in order to perform complex tasks, many of which might not have been seen during training. The details of how exactly this composition occurs remain elusive. In this paper, we study a mechanism for compositional generalization in transformers by considering a simple controlled setting involving variable assignment and modular addition. By partitioning our training data into disjoint sets, we observe that small transformers are able to generalize to previously unseen combinations of variables and numbers. Our mechanistic analysis shows that the same ``modular addition'' MLP module is used whether the inputs are given directly or indirectly through a separate variable assignment mechanism. We also analyze the training dynamics from an empirical lens, which reveals three phases of learning: first, modular addition is learned, then the structure required for variable assignment, and finally a refinement phase where the model generalizes to some hard sequences not seen in training. Finally, we provide a theoretical framework to explain how compositionality emerges from training dynamics. These results suggest that compositional generalization can be a natural consequence of the compositionality of internal mechanisms in~transformers.
• Abstract（参考訳）: 大規模な言語モデルは、複雑なタスクを実行するためにスキルを構成することができる。 この構成の正確な詳細はいまだ解明されていない。 本稿では,変圧器の構成一般化機構について,可変配置とモジュラ付加を含む単純な制御条件を考慮し検討する。 トレーニングデータを解離集合に分割することで、小さなトランスフォーマーが以前は目に見えない変数と数値の組み合わせに一般化できることを観察する。 我々の力学解析によると、同じ ``modular addition'' の MLP モジュールは、入力が独立した変数割り当て機構によって直接または間接的に与えられるかどうかで使用される。 また、経験的レンズからトレーニングダイナミクスを解析し、まず、モジュラー加算を学習し、次に変数割り当てに必要な構造を学習し、最後に、モデルがトレーニング中に見えないいくつかのハードシーケンスに一般化する洗練されたフェーズを学習の3つのフェーズで明らかにする。 最後に、構成性がどのようにトレーニングダイナミクスから生じるかを説明するための理論的枠組みを提供する。 これらの結果から,構成一般化は内的機構の構成性の自然な帰結である可能性が示唆された。

関連論文リスト

• Understanding the Staged Dynamics of Transformers in Learning Latent Structure [5.944972519558522]
  3つのタスクバリアントに対して,デコーダのみの小さなトランスをトレーニングする。 モデルが個々の段階で能力を取得することを示す。 また、モデルが基本規則をしっかりと構成できる重要な非対称性も同定するが、基本規則を発見するために複雑な例を分解するのに苦労する。
  論文  参考訳（メタデータ） (2025-11-24T17:20:42Z)
• Layer Specialization Underlying Compositional Reasoning in Transformers [6.581088182267414]
  トランスフォーマーは、トレーニング中に観察されていないシーケンスに関する構成的推論を示す。 確率論的文脈自由文法であるランダム階層モデル(RHM)を用いて,この現象を考察する。 メカニカルには、一般化性能と相関するトレーニング中の層特殊化の進行する出現を同定する。
  論文  参考訳（メタデータ） (2025-10-20T12:08:22Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks [5.522116934552708]
  トランスフォーマーベースのモデルは様々なタスクにおいて優れているが、その一般化能力、特に算術的推論では、まだ完全には理解されていない。 本稿では,算術課題における変圧器の一般化動作を理解するための統一的理論枠組みを開発する。
  論文  参考訳（メタデータ） (2024-07-25T11:35:22Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Initialization is Critical to Whether Transformers Fit Composite Functions by Reasoning or Memorizing [10.206921909332006]
  トランスフォーマーは様々なタスクにわたって印象的な能力を示してきたが、構成問題におけるパフォーマンスは議論の的となっている。 パラメータ初期化尺度は、モデルが推論(推論に基づく)解を学習するかどうかを決定する上で重要な役割を果たす。 さらに、推論(推論に基づく)ソリューションは、複雑さのバイアスが低く、単一のアンカーに対する個々のマッピングを学習できる重要な要素である、と仮定する。
  論文  参考訳（メタデータ） (2024-05-08T20:23:24Z)
• Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials [29.09237503747052]
  モジュラー加算のグロキングは、変換器の三角形状のフーリエ表現とその計算回路を実装することが知られている。 各操作でグラクされたモデル間の転送性は、特定の組み合わせに限られることを示す。 マルチタスクの混合によってコグルーキングが発生し、すべてのタスクで同時にグルーキングが発生する。
  論文  参考訳（メタデータ） (2024-02-26T16:48:12Z)
• Discovering modular solutions that generalize compositionally [55.46688816816882]
  実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-22T16:33:50Z)
• Compositional Capabilities of Autoregressive Transformers: A Study on Synthetic, Interpretable Tasks [23.516986266146855]
  我々は合成データ生成プロセスで自己回帰変換器モデルを訓練する。 自己回帰変換器は少量のトレーニングデータから構成構造を学習できることを示す。
  論文  参考訳（メタデータ） (2023-11-21T21:16:54Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。