論文の概要: Emergent Symbol-like Number Variables in Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2501.06141v1
• Date: Fri, 10 Jan 2025 18:03:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:27:55.290006
• Title: Emergent Symbol-like Number Variables in Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークにおける創発的シンボル様数変数
• Authors: Satchel Grant, Noah D. Goodman, James L. McClelland,
• Abstract要約: 人工ニューラルモデルは、交換可能、可変、潜数変数のアナログを実際に開発していることを示す。 次に,モデルのタスク性能とシンボルライクな表現のアライメントとの間に強い相関関係を見出すために,学習過程を通じてシンボルライクな変数がどのように変化するかを示す。 最後に、全てのケースにおいて、ニューラルネットワークが数値的なタスクを実行する方法の単純で解釈可能な記号的ストーリーを見つけることの難しさを浮き彫りにして、これらのニューラルシンボルにある程度の漸進性が存在することを示す。
• 参考スコア（独自算出の注目度）: 34.388552536773034
• License:
• Abstract: What types of numeric representations emerge in Neural Networks (NNs)? To what degree do NNs induce abstract, mutable, slot-like numeric variables, and in what situations do these representations emerge? How do these representations change over learning, and how can we understand the neural implementations in ways that are unified across different NNs? In this work, we approach these questions by first training sequence based neural systems using Next Token Prediction (NTP) objectives on numeric tasks. We then seek to understand the neural solutions through the lens of causal abstractions or symbolic algorithms. We use a combination of causal interventions and visualization methods to find that artificial neural models do indeed develop analogs of interchangeable, mutable, latent number variables purely from the NTP objective. We then ask how variations on the tasks and model architectures affect the models' learned solutions to find that these symbol-like numeric representations do not form for every variant of the task, and transformers solve the problem in a notably different way than their recurrent counterparts. We then show how the symbol-like variables change over the course of training to find a strong correlation between the models' task performance and the alignment of their symbol-like representations. Lastly, we show that in all cases, some degree of gradience exists in these neural symbols, highlighting the difficulty of finding simple, interpretable symbolic stories of how neural networks perform numeric tasks. Taken together, our results are consistent with the view that neural networks can approximate interpretable symbolic programs of number cognition, but the particular program they approximate and the extent to which they approximate it can vary widely, depending on the network architecture, training data, extent of training, and network size.
• Abstract（参考訳）: ニューラルネットワーク(NN)に現れる数値表現の種類は? NNは、抽象的で可変なスロットのような数値変数をどの程度誘導し、どのような状況でこれらの表現が現れるのか? これらの表現は学習よりもどのように変化するのか、異なるNN間で統一された方法で、ニューラルネットワークの実装をどのように理解すればよいのか? そこで本研究では,Next Token Prediction (NTP) の目的を数値タスクに用い,最初のトレーニングシーケンスに基づくニューラルネットワークを用いて,これらの質問にアプローチする。 次に、因果抽象化やシンボリックアルゴリズムのレンズを通して、ニューラルネットワークを理解することを模索する。 我々は、因果介入と可視化手法を組み合わせて、人工神経モデルがNPPの目的から純粋に交換可能、可変、潜在数変数のアナログを実際に生成していることを発見する。 タスクとモデルアーキテクチャのバリエーションがモデルの学習したソリューションにどのように影響するかを問うと、これらのシンボルのような数値表現はタスクのすべての変種に対して形成されず、トランスフォーマーはリカレントな問題とは異なる方法で問題を解く。 次に,モデルのタスク性能とシンボルライクな表現のアライメントとの間に強い相関関係を見出すために,学習過程を通じてシンボルライクな変数がどのように変化するかを示す。 最後に、全てのケースにおいて、ニューラルネットワークが数値的なタスクを実行する方法の単純で解釈可能な記号的ストーリーを見つけることの難しさを浮き彫りにしている。 ニューラルネットワークは数認識の解釈可能なシンボルプログラムを近似できるが、それらが近似する特定のプログラムは、ネットワークアーキテクチャ、トレーニングデータ、トレーニング範囲、ネットワークサイズによって大きく異なる。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Spiking representation learning for associative memories [0.0]
  本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。 モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
  論文  参考訳（メタデータ） (2024-06-05T08:30:11Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Graph Metanetworks for Processing Diverse Neural Architectures [33.686728709734105]
  Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。 GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:21:52Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Invariants for neural automata [0.0]
  我々は,異なる符号化条件下でのニューラルオートマトンの対称性と不変性を調べるための公式な枠組みを開発する。 我々の研究は、ニューロシンボリックプロセッサを用いた実世界の実測値の回帰研究において極めて重要である可能性がある。
  論文  参考訳（メタデータ） (2023-02-04T11:40:40Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
  この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。 我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。 残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
  論文  参考訳（メタデータ） (2020-01-07T13:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。