論文の概要: A Group Theoretic Analysis of the Symmetries Underlying Base Addition and Their Learnability by Neural Networks

• arxiv url: http://arxiv.org/abs/2507.10678v2
• Date: Wed, 16 Jul 2025 01:31:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 12:30:11.782878
• Title: A Group Theoretic Analysis of the Symmetries Underlying Base Addition and Their Learnability by Neural Networks
• Title（参考訳）: ニューラルネットワークによるベース付加と学習性を考慮した対称性の群論的解析
• Authors: Cutter Dawes, Simon Segert, Kamesh Krishnamurthy, Jonathan D. Cohen,
• Abstract要約: 対称性を用いて急激な一般化のパラダイム的な例を考察する。 単純なニューラルネットワークでさえ、適切な入力形式で急進的な一般化を達成でき、機能を持ち運ぶことができる。
• 参考スコア（独自算出の注目度）: 2.4174104788997433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major challenge in the use of neural networks both for modeling human cognitive function and for artificial intelligence is the design of systems with the capacity to efficiently learn functions that support radical generalization. At the roots of this is the capacity to discover and implement symmetry functions. In this paper, we investigate a paradigmatic example of radical generalization through the use of symmetry: base addition. We present a group theoretic analysis of base addition, a fundamental and defining characteristic of which is the carry function -- the transfer of the remainder, when a sum exceeds the base modulus, to the next significant place. Our analysis exposes a range of alternative carry functions for a given base, and we introduce quantitative measures to characterize these. We then exploit differences in carry functions to probe the inductive biases of neural networks in symmetry learning, by training neural networks to carry out base addition using different carries, and comparing efficacy and rate of learning as a function of their structure. We find that even simple neural networks can achieve radical generalization with the right input format and carry function, and that learnability is closely correlated with carry function structure. We then discuss the relevance this has for cognitive science and machine learning.
• Abstract（参考訳）: 人間の認知機能モデリングと人工知能の両方にニューラルネットワークを使用する際の大きな課題は、過激な一般化をサポートする関数を効率的に学習する能力を持つシステムの設計である。 この根は対称性関数を発見し、実装する能力である。 本稿では,対称性を用いた急進的一般化のパラダイム的例について考察する。 本論では,基本加法を群論的に解析し,その基本的かつ定義的な特徴はキャリー関数であり,和が基底率を超えるときの残りを次の重要な位置へ移動させることである。 本分析では, 与えられたベースに対して, 様々な代替キャリー関数を提示し, それらの特性を定量的に評価する手法を提案する。 次に、コンバート関数の違いを利用して、対称性学習におけるニューラルネットワークの帰納バイアスを探索し、異なるコンバートを用いてベース加算を行うようにニューラルネットワークを訓練し、その構造としての有効性と学習率を比較する。 単純なニューラルネットワークでさえ、適切な入力形式で急進的な一般化を実現し、関数を持ち運び、学習可能性と関数構造との密接な相関性を見出した。 次に、認知科学と機械学習の関連性について議論する。

関連論文リスト

• Feature Learning beyond the Lazy-Rich Dichotomy: Insights from Representational Geometry [7.517013801971377]
  タスク関連情報を神経表現に統合することは、生物学的および人工知能システムの基本的な能力である。 最近の理論では、ニューラルネットワークがタスク関連の特徴を積極的に学習するリッチなレジームと、ネットワークがランダムな特徴モデルのように振る舞う遅延レジームという2つのレジームに分類されている。 ニューラル表現の幾何学を通して特徴学習を研究するための分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-23T15:39:56Z)
• A Random Matrix Theory Perspective on the Spectrum of Learned Features and Asymptotic Generalization Capabilities [30.737171081270322]
  完全に接続された2層ニューラルネットワークは、単一だが攻撃的な勾配降下ステップの後、ターゲット関数にどのように適応するかを検討する。 これは、2層ニューラルネットワークの一般化における特徴学習の影響を、ランダムな特徴や遅延トレーニング体制を超えて、はっきりと説明してくれる。
  論文  参考訳（メタデータ） (2024-10-24T17:24:34Z)
• Brain functions emerge as thermal equilibrium states of the connectome [0.3453002745786199]
  神経科学の基本的な考え方は、認知機能は脳の構造的組織によって形成され、制約されるということである。 神経系の機能的ネットワークとして定義される脳関数は、代数量子系の熱平衡状態として現れる。 これらの平衡状態は、Kubo-Martin-Schwinger (KMS)形式によって特徴づけられ、個々のニューロンが機能的ネットワーク形成にどのように貢献するかを明らかにする。
  論文  参考訳（メタデータ） (2024-08-26T12:35:16Z)
• Feature emergence via margin maximization: case studies in algebraic tasks [4.401622714202886]
  訓練されたニューラルネットワークは、一般群における合成を行うために、既約群理論表現に対応する特徴を用いることを示す。 より一般的に、私たちの技術が、ニューラルネットワークが特定の計算戦略を採用する理由のより深い理解を促進するのに役立つことを願っています。
  論文  参考訳（メタデータ） (2023-11-13T18:56:33Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Geometry Perspective Of Estimating Learning Capability Of Neural Networks [0.0]
  本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。 一般化能力とニューラルネットワークの安定性との関係についても論じている。 ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
  論文  参考訳（メタデータ） (2020-11-03T12:03:19Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• A Functional Perspective on Learning Symmetric Functions with Neural Networks [48.80300074254758]
  本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。 正規化の異なる選択の下で近似と一般化境界を確立する。 得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
  論文  参考訳（メタデータ） (2020-08-16T16:34:33Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。