論文の概要: Neural Dynamics as the Composition of Quantized Units

• arxiv url: http://arxiv.org/abs/2609.32487v1
• Date: Sat, 26 Sep 2026 11:29:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 08:36:12.376647
• Title: Neural Dynamics as the Composition of Quantized Units
• Title（参考訳）: 量子化単位の構成としてのニューラルダイナミクス
• Abstract要約: 深層学習は一般的に2つのレベルで解釈される:マクロ的、スケール法則によって要約された損失の集合的傾向、そして微視的、ニューロン、特徴、回路である。 本研究では,Quantaの順に取得したトレーニングを記述した中間的抽象化について検討する。 停滞した離散的獲得がスムーズな集合的損失をもたらすことを示し、量子組成の特定のジオメトリの下では、スケーリング法則がもたらされる。
• 参考スコア（独自算出の注目度）: 0.47154736035631406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning is commonly interpreted at two levels: the macroscopic, through aggregate trends in loss summarized by scaling laws, and the microscopic, through neurons, features, and circuits. A central challenge is understanding how these levels connect, so that we can explain how elementary computations compose and collectively shape macroscopic behavior. To this end, we study an intermediate abstraction in which training is described as the ordered acquisition of quanta: reusable computations acquired suddenly and binary-activated across examples to reduce loss. By approximating population-gradient updates, we derive quanta's acquisition dynamics. This yields an acquisition priority governed by demand, how frequently a computation is required across examples, and conditional complexity, how difficult that computation is to acquire given those already available. In a Boolean compositional task, we derive predictions for acquisition order and show how staggered discrete acquisitions can produce smooth aggregate loss and, under certain geometries of quanta composition, give rise to scaling laws. We then train a Transformer to map numerals to English number names and recover candidate quanta from its checkpoint trajectory. From these units, we construct a model that preserves much of the Transformer's behavior while exposing interpretable latent computations and acquisition dynamics consistent with the theory. Separately, the quanta structure can serve as training targets to improve transformer generalization. Together, these results suggest the quanta abstraction can provide useful computational atoms for studying a variety of macroscopic phenomena.
• Abstract（参考訳）: 深層学習は一般的に2つのレベルで解釈される:マクロ的、スケール法則によって要約された損失の集合的傾向、そして微視的、ニューロン、特徴、回路である。 中心的な課題は、これらのレベルがどのように結びつくのかを理解することで、基本的な計算がどのように構成され、マクロな振る舞いを集合的に形成するかを説明することである。 そこで本研究では,Quantaの次々に取得された再利用可能な計算と,損失を低減するためのサンプル間でのバイナリアクティベートという,トレーニングを順序づけられたQuantaの獲得として記述した中間的抽象化について検討する。 人口の漸進的な更新を近似することにより、Quantaの獲得ダイナミクスを導出する。 これにより、要求によって支配される買収の優先順位、実例間での計算の頻度、条件付き複雑性、既に利用可能な計算がどれだけ難しいかが導かれる。 ブール構成課題において、我々は獲得順序の予測を導出し、停滞した離散的獲得がスムーズな集合的損失を生じさせることを示す。 次に、Transformerをトレーニングして、数値を英数字名にマッピングし、チェックポイント軌跡から候補量子を復元する。 これらのユニットから,解釈可能な潜在計算や,理論に整合した獲得ダイナミクスを公開しながら,トランスフォーマーの挙動の多くを保存するモデルを構築した。 これとは別に、量子構造は変換器の一般化を改善するためのトレーニングターゲットとして機能する。 これらの結果は、量子の抽象化が様々なマクロ現象を研究するのに有用な計算原子となることを示唆している。

関連論文リスト

• Learning Modular Exponentiation with Transformers [0.38887448816036313]
  4層エンコーダ・デコーダ・トランスモデルをトレーニングし、モジュラー指数化を行う。 相互学習は高い性能向上をもたらし、関連するモジュラーを突如に一般化する。 これらの結果から,変圧器モデルは特殊計算回路を用いてモジュラー演算を学習することが示唆された。
  論文  参考訳（メタデータ） (2025-06-30T10:00:44Z)
• Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
  収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
  論文  参考訳（メタデータ） (2024-10-10T18:29:05Z)
• Scalable and interpretable quantum natural language processing: an implementation on trapped ions [1.0037949839020768]
  本稿では,テキストレベルの量子自然言語処理の実装について述べる。 QDisCoCircモデルに焦点をあて、AIの解釈可能なレンダリングに対する構成的アプローチを基盤としています。 我々はQuantinuumのH1-1トラップイオン量子プロセッサの実験を行った。
  論文  参考訳（メタデータ） (2024-09-13T12:36:14Z)
• Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [62.46800898243033]
  量子学習理論の最近の進歩は、様々な古典的な入力によって生成された測定データから、大きな量子ビット回路の線形特性を効率的に学習できるのか? 我々は、小さな予測誤差を達成するためには、$d$で線形にスケーリングするサンプルの複雑さが必要であることを証明し、それに対応する計算複雑性は、dで指数関数的にスケールする可能性がある。 そこで本研究では,古典的影と三角展開を利用したカーネルベースの手法を提案し,予測精度と計算オーバーヘッドとのトレードオフを制御可能とした。
  論文  参考訳（メタデータ） (2024-08-22T08:21:28Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Data Augmentation Through Monte Carlo Arithmetic Leads to More Generalizable Classification in Connectomics [0.0]
  我々はMonte Carlo Arithmeticを用いて構造コネクトーム推定パイプラインを摂動する。 摂動ネットワークは、拡張データセットでキャプチャされ、年齢分類タスクに使用された。 この利点は、大量の摂動を妨げないので、データセットを極小に摂動しても意味のあるばらつきを生じさせ、その後に設計されたモデルで捉えることができることを示唆している。
  論文  参考訳（メタデータ） (2021-09-20T16:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。