論文の概要: The Surprising Expressivity of a Single Neuron with Autoregressive Chain-of-Thought

• arxiv url: http://arxiv.org/abs/2610.17283v1
• Date: Mon, 12 Oct 2026 18:35:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 02:24:50.578884
• Title: The Surprising Expressivity of a Single Neuron with Autoregressive Chain-of-Thought
• Title（参考訳）: 自己回帰鎖を持つ単一ニューロンの意外な表現性
• Abstract要約: 自己回帰ニューロンは、閾値やReLUを含む広い範囲の活性化に十分であることを示す。 しきい値の活性化は、回路深さと指数的にスケールするJoshi et al. (COLT 2025) のシミュレーションにより改善される。
• 参考スコア（独自算出の注目度）: 26.337012463607525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of autoregressive language models trained with Chain-of-Thought~(CoT) supervision raises a fundamental question: How simple can a next-token predictor be while still enabling the efficient simulation of general computation through its autoregressively generated CoT? Surprisingly, we show that a single neuron suffices. For a broad family of activations, including threshold and ReLU, a single autoregressive neuron can simulate any feedforward circuit with the same activation. Specifically, a size-$s$ circuit on $n$ inputs can be simulated by a neuron of dimension $O(ns+s^2)$ using $O(s^2)$ generation steps, with both bounds independent of circuit depth and tight under natural assumptions. For threshold activations, this improves upon the simulation of Joshi et al. (COLT 2025), whose bounds scale exponentially with circuit depth. Consequently, autoregressive threshold neurons can simulate polynomial-time Turing machines, while remaining efficiently learnable from CoT supervision. Our main expressivity result relies on a novel connection to Sidon sets from additive combinatorics. As an experimental illustration, we efficiently train a single autoregressive ReLU neuron to mimic a neural network teacher with nontrivial test accuracy on CIFAR-10.
• Abstract（参考訳）: Chain-of-Thought~(CoT)の指導で訓練された自己回帰言語モデルの成功は、根本的な疑問を提起する。 驚くべきことに、1つのニューロンが十分であることを示す。 閾値やReLUを含む幅広い活性化系では、単一の自己回帰ニューロンは同じ活性化で任意のフィードフォワード回路をシミュレートすることができる。 具体的には、$n$入力上のサイズ=$s$回路は、$O(ns+s^2)$生成ステップを用いて次元$O(s^2)$のニューロンでシミュレートできる。 しきい値の活性化は、回路深さと指数的にスケールするJoshi et al (COLT 2025) のシミュレーションにより改善される。 その結果、自己回帰閾値ニューロンは多項式時間チューリングマシンをシミュレートすることができ、CoTの監督から効率的に学習することができる。 我々の主表現性の結果は、加法的コンビネータからシドン集合への新たな接続に依存している。 実験例では,CIFAR-10でニューラルネットワーク教師を非自明なテスト精度で模倣するために,単一自己回帰型ReLUニューロンを効率的に訓練する。

関連論文リスト

• Language Model Circuits Are Sparse in the Neuron Basis [50.460651620833055]
  その結果, textbfMLP ニューロンは SAE と同様の機能的基盤であることがわかった。 この作業は、追加のトレーニングコストなしで言語モデルの自動解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2026-01-30T05:41:19Z)
• Multiplication-Free Parallelizable Spiking Neurons with Efficient Spatio-Temporal Dynamics [40.43988645674521]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークにインスパイアされた複雑な神経力学とスパースバイナリアクティベーション(スパイクス)によって、ニューラルネットワーク(ANN)と区別される。 従来のニューロンモデルは反復的なステップバイステップのダイナミクスを使用し、シリアル計算とSNNの遅いトレーニング速度をもたらす。 近年、SNNの訓練を加速するために、グラフィックス処理ユニットの大規模並列計算能力をフル活用するために並列化可能なスパイクニューロンモデルが提案されている。
  論文  参考訳（メタデータ） (2025-01-24T13:44:08Z)
• Using Linear Regression for Iteratively Training Neural Networks [4.873362301533824]
  ニューラルネットワークの重みとバイアスを学習するための単純な線形回帰に基づくアプローチを提案する。 このアプローチは、より大きく、より複雑なアーキテクチャに向けられている。
  論文  参考訳（メタデータ） (2023-07-11T11:53:25Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Continual Learning with Deep Artificial Neurons [0.0]
  本稿では,Deep Artificial Neurons (DAN)を導入し,ディープニューラルネットワークとして実現した。 ネットワーク内のすべてのDANが共有する神経表現型をダブする単一パラメータベクトルをメタ学習することが可能であることを示す。 適切な神経表現型は,最小限の忘れを伴ってシナプスを更新する能力を持つ単一ネットワークを育むことができることを示す。
  論文  参考訳（メタデータ） (2020-11-13T17:50:10Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。