論文の概要: CircuitProbe: Predicting Reasoning Circuits in Transformers via Stability Zone Detection
- arxiv url: http://arxiv.org/abs/2604.00716v1
- Date: Wed, 01 Apr 2026 10:26:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-02 16:44:31.938681
- Title: CircuitProbe: Predicting Reasoning Circuits in Transformers via Stability Zone Detection
- Title（参考訳）: CircuitProbe:安定領域検出による変圧器の共振回路予測
- Abstract要約: CPU上で5分以内のアクティベーション統計から回路位置を予測するCircuitProbeを提案する。
推論回路は, 初期層における安定回路, 表現変化の微分による検出, 後期層における等級回路, 異常スコアリングによる検出の2種類に分類される。
CircuitProbeは10の校正例を必要とし、その予測は英語、ヒンディー語、中国語、フランス語で安定している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer language models contain localized reasoning circuits, contiguous layer blocks that improve reasoning when duplicated at inference time. Finding these circuits currently requires brute-force sweeps costing 25 GPU hours per model. We propose CircuitProbe, which predicts circuit locations from activation statistics in under 5 minutes on CPU, providing a speedup of three to four orders of magnitude. We find that reasoning circuits come in two types: stability circuits in early layers, detected through the derivative of representation change, and magnitude circuits in late layers, detected through anomaly scoring. We validate across 9 models spanning 6 architectures, including 2025 models, confirming that CircuitProbe top predictions match or are within 2 layers of the optimal circuit in all validated cases. A scaling experiment across the Qwen 2.5 family reveals that layer duplication consistently benefits models under 3B parameters but degrades performance in 7B+ models, making this a practical scaling technique for small language models. CircuitProbe requires as few as 10 calibration examples and its predictions are stable across English, Hindi, Chinese, and French.
- Abstract（参考訳）: トランスフォーマー言語モデルには、局所的な推論回路、推論時に複製された場合の推論を改善する連続層ブロックが含まれる。
現在これらの回路を見つけるには、モデル毎のGPU時間に25時間かかるブルートフォーススイープが必要である。
本稿では,CPU上でのアクティベーション統計から回路位置を5分以内で予測し,最大3～4桁の高速化を実現するCircuitProbeを提案する。
推論回路は, 初期層における安定回路, 表現変化の微分による検出, 後期層における等級回路, 異常スコアリングによる検出の2種類に分類される。
我々は、2025モデルを含む6つのアーキテクチャにまたがる9つのモデルに対して検証を行い、CircuitProbeのトップ予測が全ての検証済みケースにおいて最適回路の2層以内であることを確認した。
Qwen 2.5ファミリでのスケーリング実験では、レイヤ重複は3Bパラメータ以下のモデルに一貫してメリットがあるが、7B以上のモデルではパフォーマンスが低下していることが判明した。
CircuitProbeは10のキャリブレーションの例を必要とし、その予測は英語、ヒンディー語、中国語、フランス語で安定している。
関連論文リスト
- When Close Enough Is Not Enough: Autoregressive Drift in Quantum Circuit Synthesis [0.0]
フォールトトレラントコンピューティングのための量子回路最適化は、Tゲートのような高価な非クリフォード資源を最小化しながら、正確な機能的等価性を必要とする。
構造化回路トークン化を用いた44.8Mパラメータエンコーダデコーダ変換器を用いてこの問題について検討する。
パラメータ化回路では、変圧器からの構造、古典的な最適化から得られる角度のハイブリッドアプローチにより、3-6量子ビット回路上で1.000の正中性が得られる。
論文 参考訳（メタデータ） (2026-07-14T13:56:39Z) - Simulating quantum circuits with a neural statebank [0.0]
量子回路軌道に沿って波動関数を学習するニューラルステートバンクを導入する。
絡み合い、魔法、非対角分岐を組み合わせた長距離回路では、ステートバンクは34キュービットで$sim 10-2$に達する。
同じアーキテクチャは量子近似最適化、クリフォード+$T$、クリフォード回路を正確にシミュレートする。
論文 参考訳（メタデータ） (2026-06-07T16:05:44Z) - Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs [9.127363793428119]
摂動探索は、大規模言語モデルにおけるFFNニューロンに対するタスク特異的因果仮説を生成する。
8つの動作回路、13のモデル、および4つのアーキテクチャファミリにまたがって、LLMの動作を整理する2つの回路構造を同定する。
論文 参考訳（メタデータ） (2026-04-30T04:13:33Z) - Certified Circuits: Stability Guarantees for Mechanistic Circuits [80.30622018787835]
Certified Circuitsは、回路発見のための証明可能な安定性を保証する。
ImageNetとOODデータセットでは、認定回路は91%高い精度を達成する。
論文 参考訳（メタデータ） (2026-02-26T13:07:31Z) - Position-aware Automatic Circuit Discovery [59.64762573617173]
我々は既存の回路探索手法のギャップを同定し、モデル成分を入力位置間で等しく関連するものとして扱う。
可変長例を含むタスクであっても,回路に位置性を組み込むための2つの改良を提案する。
提案手法により, 位置感応回路の完全自動検出が可能となり, 従来よりも回路サイズと忠実度とのトレードオフが良好になる。
論文 参考訳（メタデータ） (2025-02-07T00:18:20Z) - LaMAGIC: Language-Model-based Topology Generation for Analog Integrated Circuits [17.002169206594793]
先駆的な言語モデルに基づくトポロジ生成モデルであるLaMAGICを紹介する。
LaMAGICは、カスタム仕様から最適化された回路設計を単一のパスで効率的に生成できる。
LaMAGICは0.01の厳格な許容条件で最大96%の成功率を達成した。
論文 参考訳（メタデータ） (2024-07-19T22:51:41Z) - Finding Transformer Circuits with Edge Pruning [71.12127707678961]
自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。
本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。
その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
論文 参考訳（メタデータ） (2024-06-24T16:40:54Z) - Circuit Transformer: A Transformer That Preserves Logical Equivalence [20.8279111910994]
生成型ニューラルモデル "Circuit Transformer" を導入し,論理回路を与えられたブール関数と厳密に等価に生成する。
回路の特定の目的を最適化するためにマルコフ決定過程の定式化も提案されている。
論文 参考訳（メタデータ） (2024-03-14T03:24:14Z) - CktGNN: Circuit Graph Neural Network for Electronic Design Automation [67.29634073660239]
本稿では,回路トポロジ生成とデバイスサイズを同時に行う回路グラフニューラルネットワーク(CktGNN)を提案する。
オープンサーキットベンチマーク(OCB: Open Circuit Benchmark)は、オープンソースのデータセットで、10ドル(約10万円)の異なるオペレーショナルアンプを含む。
我々の研究は、アナログ回路のための学習ベースのオープンソース設計自動化への道を開いた。
論文 参考訳（メタデータ） (2023-08-31T02:20:25Z) - Adaptive Planning Search Algorithm for Analog Circuit Verification [53.97809573610992]
シミュレーションの少ない機械学習(ML)アプローチを提案する。
提案手法により,OCCを全回路の仕様に近づけることができることを示す。
論文 参考訳（メタデータ） (2023-06-23T12:57:46Z) - Hardware-Encoding Grid States in a Non-Reciprocal Superconducting
Circuit [62.997667081978825]
本稿では、非相互デバイスと、基底空間が2倍縮退し、基底状態がGottesman-Kitaev-Preskill(GKP)符号の近似符号であるジョセフソン接合からなる回路設計について述べる。
この回路は、電荷やフラックスノイズなどの超伝導回路の一般的なノイズチャネルに対して自然に保護されており、受動的量子誤差補正に使用できることを示唆している。
論文 参考訳（メタデータ） (2020-02-18T16:45:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。