論文の概要: CSP-Atlas: Concept-Specific Neural Circuits in a Sparse Python Transformer

• arxiv url: http://arxiv.org/abs/2605.24603v1
• Date: Sat, 23 May 2026 14:40:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.269044
• Title: CSP-Atlas: Concept-Specific Neural Circuits in a Sparse Python Transformer
• Title（参考訳）: CSP-Atlas: スパースPython変換器における概念特異的ニューラルネットワーク
• Authors: Piotr Wilam,
• Abstract要約: スパース8層コード変換器は、テストされたすべてのPython構成のための専用ニューラルネットワークを開発する。 63,800個の制御されたプロンプトから106個の概念のニューラルネットワークを抽出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A sparse 8-layer code transformer develops dedicated neural circuitry for every Python construct tested, and that circuitry is organised by a clean computational principle rather than by semantic category. We extract neural circuits for 106 concepts (43 AST node types, 63 builtin objects) by marginalising across 63,800 controlled prompts, and decompose each circuit into concept-specific and token-driven components using contrastive checker prompts that present a keyword token without its associated syntactic structure. Three findings emerge. First, all 106 concepts produce non-empty universal circuits at every one of nine parameter settings, and the ranking of concept-specificity across constructs is stable across the sweep - survival is not an artifact of a permissive threshold. Second, AST circuits contain a genuine concept component distinct from token activation: concept-only neurons constitute up to 62.5% of the loudest-firing neurons at mid-to-late layers, while builtin circuits are almost entirely token-driven. Third, six computationally atomic constructs - Import, ImportFrom, Break, Continue, Pass, Assert - cluster together despite being semantically unrelated, sharing only the property of being single-statement constructs requiring no nested body; this atomicity super-cluster, together with a four-tier hierarchy organised by token ambiguity and structural distinctiveness, shows that the model's internal organisation tracks computational structure rather than meaning. The methodology, full decomposition data, and analysis code are released.
• Abstract（参考訳）: スパース8層コード変換器は、テスト対象のPython構成ごとに専用ニューラルネットワークを開発し、その回路は意味圏ではなくクリーンな計算原理によって構成される。 63,800個の制御されたプロンプトを区切って106個の概念(43個のASTノード型,63個の組込みオブジェクト)のニューラル回路を抽出し,関連する構文構造を持たないキーワードトークンを示すコントラッシブチェッカープロンプトを用いて,各回路を概念固有かつトークン駆動のコンポーネントに分解する。 3つの発見がある。 第一に、106のすべての概念は9つのパラメータ設定の1つごとに空でない普遍回路を生成し、コンストラクト間の概念特異性のランキングはスイープ全体にわたって安定している。 第2に、AST回路はトークンアクティベーションとは異なる真の概念要素を含んでいる:概念のみのニューロンは、中間層から後期層における最も大きなファイリングニューロンの62.5%を占め、ビルトイン回路はほとんどがトークン駆動である。 第三に、Import、ImportFrom、Break、Continue、Path、Assertの6つの計算的構造体が、意味的に無関係であるにもかかわらず、一緒にクラスタ化されている。 方法論、完全な分解データ、分析コードもリリースされている。

関連論文リスト

• The Deterministic Horizon: Impossibility Results as Design Specifications for Trustworthy AI Systems [0.0]
  この論文は、好奇心から不合理性の結果を設計規則に変える。 そのフラッグシップとなる結果は、アーキテクチャだけで設定された精度の高い天井を証明している。 同じ引数がサブフィールドにまたがって再キャストされる。
  論文  参考訳（メタデータ） (2026-05-21T20:48:35Z)
• SBN Explorer: An Empirical Study of Cryptographic Boolean Networks [0.0]
  本稿では,6つの独立したバイナリ構造制約により,暗号ブール系の設計空間を定式化する。 我々は,64クラス全てを3つの汎用暗号解析的適合目標に対して評価した。 その結果、最良のブールネットワークは、互いに相反する制約の組み合わせのスパース同定によって制御されていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-04-30T08:09:51Z)
• Functorial Neural Architectures from Higher Inductive Types [5.076419064097734]
  ニューラルネットワークは構成一般化において体系的に失敗することを示す。 この失敗はアーキテクチャであり、構成的一般化はデコーダの函手性と同値である。 独立に生成したセグメントの構造連結によって構成されたデコーダが厳密なモノイド関手であることを証明した。
  論文  参考訳（メタデータ） (2026-03-17T05:08:30Z)
• Certified Circuits: Stability Guarantees for Mechanistic Circuits [80.30622018787835]
  Certified Circuitsは、回路発見のための証明可能な安定性を保証する。 ImageNetとOODデータセットでは、認定回路は91%高い精度を達成する。
  論文  参考訳（メタデータ） (2026-02-26T13:07:31Z)
• Decomposer Networks: Deep Component Analysis and Synthesis [0.14504054468850663]
  入力を複数の解釈可能なコンポーネントに分解する意味的オートエンコーダを提案する。 Gauss-Seidelスタイルのブロックコーディネートを異なるネットワークにアンロールすることで、DecompNetはコンポーネント間の明示的な競合を強制する。 我々は、その新奇性を、オール・ビュー・ワン残差更新ルールを実装した最初のセマンティック・オートエンコーダとして強調する。
  論文  参考訳（メタデータ） (2025-10-10T19:55:13Z)
• A Constructive Framework for Nondeterministic Automata via Time-Shared, Depth-Unrolled Feedforward Networks [0.0]
  非決定論的有限オートマトン(NFA)の時間分割・深度制御型フィードフォワードネットワーク(TS-FFN)を用いたフォーマルで建設的なシミュレーションフレームワークを提案する。 我々の定式化は、二進ベクトルとしてのオートマトン状態、スパース行列変換としての遷移、および共有しきい値更新の合成としての$varepsilon$-closuresを含む非決定的分岐を含む非決定論的分岐を象徴的に符号化する。
  論文  参考訳（メタデータ） (2025-05-30T01:18:35Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。