論文の概要: Mechanistic Interpretability for Neural Networks: Circuits, Sparse Features and Symbolic Reasoning
- arxiv url: http://arxiv.org/abs/2607.07316v1
- Date: Wed, 08 Jul 2026 12:04:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.364793
- Title: Mechanistic Interpretability for Neural Networks: Circuits, Sparse Features and Symbolic Reasoning
- Title（参考訳）: ニューラルネットワークの機械論的解釈可能性:回路,スパース特徴,シンボリック推論
- Abstract要約: 機械的解釈可能性(Mechanistic Interpretability)は、現代のニューラルネットワークの内部アルゴリズムをリバースエンジニアリングしようとする新興分野である。
本稿では、Transformer回路解析の詳細な検討を行い、内部コンポーネントが複雑なタスクやコンテキスト内学習をどのように駆動するかを考察する。
Sparse Autoencoders(SAE)やTranscoderといったツールが、絡み合ったネットワークアクティベーションを、別個の人間解釈可能な機能に分解する方法を実証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This article offers a comprehensive overview of mechanistic interpretability, an emerging field that seeks to reverse-engineer the internal algorithms of modern neural networks. While traditional explainable AI methods often stop at surface-level input-output correlations, this approach directly addresses the opaque "black box" nature of machine learning models, which is essential for ensuring safety and auditability in high-stakes deployments. The paper provides a detailed examination of Transformer circuit analysis, exploring how internal components like the residual stream, attention mechanisms, and induction heads drive complex tasks and in-context learning. It subsequently tackles the core challenge of superposition and polysemanticity, demonstrating how tools like Sparse Autoencoders (SAEs) and transcoders can decompose tangled network activations into distinct, human-interpretable features. Furthermore, the paper explores methods for actively controlling and modifying model behavior through steering vectors and causal interventions. Finally, it connects these mechanistic insights with neurosymbolic AI frameworks designed to translate neural representations into explicit, executable logical rules.
- Abstract（参考訳）: この記事では、現代のニューラルネットワークの内部アルゴリズムをリバースエンジニアリングしようとする新興分野である、機械論的解釈可能性の概要を概観する。
従来の説明可能なAIメソッドは表面レベルのインプット・アウトプット相関で停止することが多いが、このアプローチは機械学習モデルの不透明な"ブラックボックス"の性質に直接対処する。
本稿では,トランスフォーマー回路解析を詳細に検討し,残差ストリームや注意機構,誘導ヘッドなどの内部成分が複雑なタスクやコンテキスト内学習をどのように駆動するかを考察する。
Sparse Autoencoders(SAE)やTranscoderといったツールが、絡み合ったネットワークのアクティベーションを、異なる人間の解釈可能な機能に分解する方法を実証している。
さらに,ステアリングベクトルと因果介入によるモデル行動のアクティブな制御と修正方法について検討した。
最後に、これらの力学的な洞察と、神経表現を明示的で実行可能な論理規則に変換するように設計されたニューロシンボリックAIフレームワークを結びつける。
関連論文リスト
- Transcoders for Investigating Deception in Language Models [0.0]
本稿では,言語モデルにおける誤認行動の分析にトランスコーダを用いた場合について検討する。
本研究は, 着目関係の特徴の辞書を同定し, 着目出力に強い影響を及ぼす。
論文 参考訳（メタデータ） (2026-07-16T10:10:10Z) - Seeing Through Circuits: Faithful Mechanistic Interpretability for Vision Transformers [54.2202951543048]
視覚変換器の計算グラフから有用なメカニスティック回路を同定できるかどうかを検討する。
分類のためのクラス固有の回路を復元するビジュアル・サーキット・ディスカバリー(Vi-CD)の効果的な手法を提案する。
これらのモデルの内部計算に透明性を加えることで、視覚変換器から洞察に富み、行動可能なエッジベース回路を復元できることが判明した。
論文 参考訳（メタデータ） (2026-04-15T23:25:46Z) - Mechanistic Interpretability for Large Language Model Alignment: Progress, Challenges, and Future Directions [16.821238326410324]
大規模言語モデル(LLM)は様々なタスクにまたがる優れた機能を実現しているが、内部決定プロセスはほとんど不透明である。
機械的解釈可能性(Mechanistic Interpretability)は、これらのモデルの理解と整合性のための重要な研究の方向性として現れている。
我々は、人間のフィードバックからの強化学習、立憲AI、スケーラブルな監視など、解釈可能性に関する洞察がどのようにアライメント戦略に影響を与えたかを分析する。
論文 参考訳（メタデータ） (2026-01-21T11:43:57Z) - Circuit Insights: Towards Interpretability Beyond Activations [20.178085579725472]
WeightLensとCircuitLensの2つの相補的手法を提案する。
WeightLensは学習したウェイトから直接機能を解釈し、説明モデルやデータセットの必要性を取り除く。
CircuitLensは、コンポーネント間のインタラクションから機能アクティベーションがどのように発生し、回路レベルのダイナミクスを明らかにするのかをキャプチャする。
論文 参考訳（メタデータ） (2025-10-16T17:49:41Z) - Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning [50.99796659680724]
本研究では,GSM8Kスタイルのモジュラー演算をテストベッドとして用いたTransformerネットワークにおけるアウト・オブ・ディストリビューション(OOD)の一般化について検討する。
我々は,OOD一般化の強化を目的とした4つのアーキテクチャ機構のセットを紹介し,検討する。
我々はこれらの実験結果を詳細な機械論的解釈可能性分析で補完し、これらのメカニズムがOOD一般化能力をいかに高めるかを明らかにする。
論文 参考訳（メタデータ） (2025-10-15T21:03:59Z) - A General Framework for Property-Driven Machine Learning [1.0485739694839669]
逆行訓練は,小摂動に対するロバスト性を向上させるために,$epsilon$-cubesで行うことができることを示す。
コンピュータビジョン以外の領域は、一般化された超矩形を通してより柔軟な入力領域の仕様を必要とすることがある。
本稿では,これら2つの補完的アプローチを,プロパティ駆動機械学習の単一フレームワークに組み込む方法について検討する。
論文 参考訳（メタデータ） (2025-05-01T11:33:38Z) - Meta-Representational Predictive Coding: Biomimetic Self-Supervised Learning [51.22185316175418]
メタ表現予測符号化(MPC)と呼ばれる新しい予測符号化方式を提案する。
MPCは、並列ストリームにまたがる感覚入力の表現を予測することを学ぶことによって、感覚入力の生成モデルを学ぶ必要性を助長する。
論文 参考訳（メタデータ） (2025-03-22T22:13:14Z) - Exploring Latent Pathways: Enhancing the Interpretability of Autonomous Driving with a Variational Autoencoder [79.70947339175572]
バイオインスパイアされたニューラルサーキットポリシーモデルが革新的な制御モジュールとして登場した。
我々は、変分オートエンコーダとニューラルネットワークポリシーコントローラを統合することで、飛躍的に前進する。
本研究は,変分オートエンコーダへのアーキテクチャシフトに加えて,自動潜時摂動ツールを導入する。
論文 参考訳（メタデータ） (2024-04-02T09:05:47Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - Tensor Networks for Explainable Machine Learning in Cybersecurity [0.0]
マトリックス製品状態(MPS)に基づく教師なしクラスタリングアルゴリズムを開発した。
我々の調査は、MPSがオートエンコーダやGANといった従来のディープラーニングモデルと性能的に競合していることを証明している。
提案手法は,機能的確率,フォン・ノイマン・エントロピー,相互情報の抽出を自然に促進する。
論文 参考訳（メタデータ） (2023-12-29T22:35:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。