論文の概要: Sequential Group Composition: A Window into the Mechanics of Deep Learning

• arxiv url: http://arxiv.org/abs/2602.03655v1
• Date: Tue, 03 Feb 2026 15:36:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.546189
• Title: Sequential Group Composition: A Window into the Mechanics of Deep Learning
• Title（参考訳）: 逐次グループ構成:ディープラーニングの力学の窓
• Authors: Giovanni Luca Marchetti, Daniel Kunin, Adele Myers, Francisco Acosta, Nina Miolane,
• Abstract要約: シーケンシャルなグループ構成タスクを紹介します。 ネットワークはこのタスクを一度にグループの既約表現として学習する。 このスケーリングを劇的に改善するために、より深いモデルがタスクの連想性をいかに活用しているかを示す。
• 参考スコア（独自算出の注目度）: 15.349155287234012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do neural networks trained over sequences acquire the ability to perform structured operations, such as arithmetic, geometric, and algorithmic computation? To gain insight into this question, we introduce the sequential group composition task. In this task, networks receive a sequence of elements from a finite group encoded in a real vector space and must predict their cumulative product. The task can be order-sensitive and requires a nonlinear architecture to be learned. Our analysis isolates the roles of the group structure, encoding statistics, and sequence length in shaping learning. We prove that two-layer networks learn this task one irreducible representation of the group at a time in an order determined by the Fourier statistics of the encoding. These networks can perfectly learn the task, but doing so requires a hidden width exponential in the sequence length $k$. In contrast, we show how deeper models exploit the associativity of the task to dramatically improve this scaling: recurrent neural networks compose elements sequentially in $k$ steps, while multilayer networks compose adjacent pairs in parallel in $\log k$ layers. Overall, the sequential group composition task offers a tractable window into the mechanics of deep learning.
• Abstract（参考訳）: シーケンス上でトレーニングされたニューラルネットワークは、算術、幾何学、アルゴリズム計算といった構造化された操作を実行する能力を得るには、どうすればよいのか? この問題に対する洞察を得るために、逐次グループ構成タスクを導入する。 このタスクでは、ネットワークは実ベクトル空間に符号化された有限群から要素列を受け取り、その累積を予測しなければならない。 タスクは順序に敏感であり、非線形アーキテクチャを学ぶ必要がある。 本分析では, グループ構造, エンコード統計, シーケンス長の役割を分離した。 符号化のフーリエ統計によって決定された順序で,2層ネットワークがこのタスクを同時に1つの既約表現で学習することを証明した。 これらのネットワークはタスクを完璧に学習できるが、それを行うにはシーケンス長が$k$の隠れ幅指数を必要とする。 繰り返しニューラルネットワークは$k$のステップで順次要素を合成し、マルチレイヤネットワークは$\log k$のレイヤで隣接するペアを並列に構成する。 全体として、シーケンシャルなグループ構成タスクは、深層学習の仕組みにトラクタブルな窓を提供する。

関連論文リスト

• Emergent Riemannian geometry over learning discrete computations on continuous manifolds [1.8665975431697432]
  離散計算のシグネチャがニューラルネットワークの表現幾何学に現れることを示す。 我々は、異なる学習体制(リッチ対遅延)がメートル法と曲率構造を対比し、ネットワークが目に見えない入力に一般化する能力にどのように影響するかを実証する。
  論文  参考訳（メタデータ） (2025-11-28T20:29:06Z)
• How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model [47.617093812158366]
  言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T09:11:09Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Online Sequential Extreme Learning Machines: Features Combined From Hundreds of Midlayers [0.0]
  本稿では階層型オンラインシーケンシャル学習アルゴリズム(H-OS-ELM)を提案する。 アルゴリズムは、一定のブロックサイズまたは異なるブロックサイズでチャンクごとにチャンクを学習することができる。
  論文  参考訳（メタデータ） (2020-06-12T00:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。